[논문 리뷰] Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segmen t

Sagi Eppel|arXiv (Cornell University)|2019. 01. 01.

Advanced Neural Network Applications참고 문헌 4인용 수 2

한 줄 요약

이 논문은 포인터 픽셀과 선택적 영역 관심(ROI) 마스크를 고려해 전체 이미지 세그먼테이션을 수행하는 클래스 독립형 순차적 세그먼테이션 방법을 제안한다. 이 방법은 완전 컨volution 네트워크(FCN)를 사용하며, 훈련 중에 볼 수 없었던 클래스에 대해서도 'things'과 'stuff' 모두에 대해 강건한 제로샷 세그먼테이션을 보여주며, COCO 파노픽 세그먼테이션 데이터셋에서 알려진 클래스에 대해 67%의 IoU를 달성하고, 알려지지 않은 클래스에 대해선 53%의 IoU를 기록한다.

ABSTRACT

This work examines the use of a fully convolutional net (FCN) to find an image segment, given a pixel within this segment region. The net receives an image, a point in the image and a region of interest (RoI ) mask. The net output is a binary mask of the segment in which the point is located. The region where the segment can be found is contained within the input RoI mask. Full image segmentation can be achieved by running this net sequentially, region-by-region on the image, and stitching the output segments into a single segmentation map. This simple method addresses two major challenges of image segmentation: 1) Segmentation of unknown categories that were not included in the training set. 2) Segmentation of both individual object instances (things) and non-objects (stuff), such as sky and vegetation. Hence, if the pointer pixel is located within a person in a group, the net will output a mask that covers that individual person; if the pointer point is located within the sky region, the net returns the region of the sky in the image. This is true even if no example for sky or person appeared in the training set. The net was tested and trained on the COCO panoptic dataset and achieved 67% IOU for segmentation of familiar classes (that were part of the net training set) and 53% IOU for segmentation of unfamiliar classes (that were not included in the training).

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 객체 카테고리의 세그먼테이션 문제를 해결하기 위해.
• 단일 클래스 독립 프레임워크 내에서 인스턴스 세그먼테이션과 스타프 세그먼테이션을 통합하기 위해.
• 포인터 기반 네트워크를 사용해 영역별로 순차적으로 추론함으로써 전체 이미지 세그먼테이션을 수행하기 위해.
• 카테고리별 레이블링에 의존도를 줄이고 일반적인 세그먼테이션 패턴을 학습하기 위해.
• 제로샷 설정에서 알려진 클래스와 알려지지 않은 클래스 양쪽 모두에 대해 성능을 평가하기 위해.

제안 방법

• 완전 컨volution 네트워크(FCN)를 훈련하여, 이미지, 해당 세그먼트 내의 포인터 픽셀, 그리고 선택적 ROI 마스크를 입력으로 받아 단일 세그먼트의 이진 마스크를 예측한다.
• ROI 마스크는 세그먼트 탐색 공간을 제한하여 정확도를 향상시킨다.
• 네트워크는 클래스 레이블 없이 COCO 파노픽 세그먼테이션 데이터셋의 다양한 세그먼트에서 훈련되어 클래스 독립 세그먼테이션 패턴을 학습한다.
• 전체 이미지 세그먼테이션은 네트워크를 반복적으로 적용함으로써 달성된다: 현재 ROI 내에서 랜덤 포인터를 선택하고, 세그먼트를 예측하고, 이를 ROI에서 제거한 후, 커버리지가 95%를 초과할 때까지 반복한다.
• 예측된 세그먼트 마스크는 최종 세그먼테이션 맵으로 조합된다.
• 이 방법은 카테고리별 특화된 감독 없이, 오직 공간적 맥락과 픽셀 수준의 단서에 의존한다.

실험 결과

연구 질문

• RQ1 클래스 독립 FCN는 훈련 중에 볼 수 없었던 카테고리의 이미지 영역이라도 단일 포인터 픽셀만으로도 세그먼테이션을 학습할 수 있는가?
• RQ2 ROI 마스크는 세그먼트 정확도와 정렬 정확도 향상에 얼마나 효과적인가?
• RQ3 포인터 기반 네트워크를 순차적으로 적용하면 고정밀도 전체 이미지 세그먼테이션을 달성할 수 있는가?
• RQ4 제로샷 세그먼테이션에서 알려진 클래스와 알려지지 않은 클래스 간의 성능 격차는 어느 정도인가?
• RQ5 이 방법은 'things'(예: 사람, 동물)와 'stuff'(예: 하늘, 잔디)를 어떻게 통합적으로 처리하는가?

주요 결과

• 모델은 COCO 파노픽 세그먼테이션 데이터셋의 알려진 클래스에서 평균 IoU 67%를 달성하여 알려진 카테고리에서 뛰어난 성능을 보였다.
• 훈련 세트에 포함되지 않은 알려지지 않은 클래스에서 평균 IoU 53%를 기록하여 효과적인 제로샷 세그먼테이션을 입증했다.
• ROI 마스크의 포함으로 평균 IoU가 전체 이미지 세그먼테이션에서 59%에서 61%로 약간이지만 유의미하게 향상되었다.
• 주요 오류 원인은 컴퓨터 키보드와 같이 미세한 구조를 가진 작은 세그먼트나 부분으로, 하위 객체 세부 정보의 세그먼테이션에 한계가 있음을 시사한다.
• 순차적 영역별 접근 방식은 95% 이상의 커버리지로 전체 이미지 세그먼테이션을 성공적으로 달성하여 방법의 확장성과 타당성을 입증했다.
• 이 방법은 카테고리별 특화된 훈련 없이도 개별 객체 인스턴스('things')와 비객체 영역('stuff')을 모두 성공적으로 세그먼테이션한다.