[논문 리뷰] Semantic Amodal Segmentation

Yan Zhu, Yuandong Tian외 2명|arXiv (Cornell University)|2015. 09. 04.

Advanced Neural Network Applications참고 문헌 41인용 수 9

한 줄 요약

이 논문은 시각적 인식의 새로운 과제인 의미적 이모달 세그멘테이션을 소개한다. 이 과제는 이미지 내에서 물체의 가시 영역과 가림 영역을 모두 주석 처리하고, 부분적인 깊이 순서를 정의하는 것을 요구한다. 두 개의 대규모 데이터셋(500장의 BSDS 및 5,000장의 COCO)을 사용하여, 모달 세그멘테이션 네트워크를 확장해 이모달 마스크와 깊이 순서를 예측하는 딥러닝 모델을 기반으로 한 강력한 베이스라인을 수립하였으며, 이는 쌍별 깊이 순서 예측에서 80% 이상의 정확도를 달성하고, 심한 가림 상황에서도 뚜렷한 성능 향상을 보였다.

ABSTRACT

Common visual recognition tasks such as classification, object detection, and semantic segmentation are rapidly reaching maturity, and given the recent rate of progress, it is not unreasonable to conjecture that techniques for many of these problems will approach human levels of performance in the next few years. In this paper we look to the future: what is the next frontier in visual recognition? We offer one possible answer to this question. We propose a detailed image annotation that captures information beyond the visible pixels and requires complex reasoning about full scene structure. Specifically, we create an amodal segmentation of each image: the full extent of each region is marked, not just the visible pixels. Annotators outline and name all salient regions in the image and specify a partial depth order. The result is a rich scene structure, including visible and occluded portions of each region, figure-ground edge information, semantic labels, and object overlap. We create two datasets for semantic amodal segmentation. First, we label 500 images in the BSDS dataset with multiple annotators per image, allowing us to study the statistics of human annotations. We show that the proposed full scene annotation is surprisingly consistent between annotators, including for regions and edges. Second, we annotate 5000 images from COCO. This larger dataset allows us to explore a number of algorithmic ideas for amodal segmentation and depth ordering. We introduce novel metrics for these tasks, and along with our strong baselines, define concrete new challenges for the community.

연구 동기 및 목표

• 가시 영역과 가려진 영역을 모두 주석 처리하는 새로운 시각적 인식 과제인 의미적 이모달 세그멘테이션을 정의하고 연구한다.
• 500장의 BSDS 이미지에서의 다수의 주석자 간 일致성 평가를 통해 이모달 세그멘테이션 과제가 인간 주석자 간에 일관되고 잘 정의된 작업인지 확인한다.
• 전문 주석자들이 품질 관리를 거쳐 5,000장의 COCO 이미지로 구성된 대규모 고품질 데이터셋을 구축하여 알고리즘 평가를 위한 기반을 마련한다.
• 이모달 마스크 품질과 쌍별 깊이 순서 예측에 대한 새로운 평가 지표를 개발한다.
• 이모달 세그멘테이션과 깊이 예측을 위한 강력한 딥러닝 베이스라인을 훈련하고 벤치마킹하여 연구 공동체에 새로운 과제를 제시한다.

제안 방법

• 주석자들이 이미지 내에서 주목할 만한 영역의 전체 범위(가려진 부분 포함)를 수동으로 윤곽선으로 그려내고, 의미적 레이블과 부분적인 깊이 순서를 할당한다.
• 두 가지 데이터셋을 구축: 다수의 주석자가 참여한 500장의 BSDS 이미지로 일관성 연구를 위한 데이터셋과, 전문 주석자들이 품질 관리를 거친 5,000장의 COCO 이미지로 구성된 데이터셋.
• 이모달 마스크 품질 평가(예: 평균 재현율)와 쌍별 깊이 순서 정확도 평가를 위한 새로운 평가 지표를 제안한다.
• 기존의 모달 세그멘테이션 네트워크(예: SharpMask)를 확장하여 두 가지 이모달 변형을 제안: AmodalMask(직접 이모달 예측)와 ExpandMask(모달 마스크에서 확장).
• 이중 분류 기반의 깊이 순서 예측을 위한 딥 네트워크를 훈련: 두 개의 겹치는 마스크가 주어졌을 때, 어느 것이 앞에 있는지 예측하며, 입력 특징으로는 바운딩 박스, 마스크, 또는 이미지 패치를 사용한다.
• 전이 학습을 통해 COCO에서 사전 훈련된 모달 세그멘테이션 네트워크의 가중치를 초기화하고, 이모달 훈련 세트에서 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 이모달 세그멘테이션은 특히 가려진 영역과 도트-배경 경계에서 인간 주석자 간에 일관된 작업인가?
• RQ2 딥러닝 모델은 모달 세그멘테이션 모델이 달성하는 것 이상으로 심한 가림 상황에서도 이모달 마스크를 효과적으로 일반화하여 예측할 수 있는가?
• RQ3 학습된 모델이 겹치는 물체 간의 정확한 깊이 순서를 어느 정도 잘 예측할 수 있으며, 마스크 품질은 이 성능에 어떤 영향을 미치는가?
• RQ4 실제 이모달 주석 데이터를 사용할 경우와 합성 데이터 증강을 사용할 경우 모델의 일반화 능력과 성능에 어떤 차이가 있는가?
• RQ5 의미적 레이블은 이모달 주석의 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• 이모달 세그멘테이션 주석에서 주석자 간 일치도가 놀랍게 높으며, 영역과 경계 일치도가 원본 BSDS 데이터셋의 수준을 초월한다.
• 이모달 세그멘테이션 베이스라인(AmodalMask 및 ExpandMask)은 모달 기반 모델 대비 심한 가림 상황에서 뚜렷한 성능 향상을 보였다.
• 실제 이모달 학습 데이터를 사용할 경우 합성 데이터 증강보다 성능이 뛰어나며, 합성 데이터는 여전히 실재 데이터에 뒤지지만 모달 기반 베이스라인 대비 성능 향상을 보였다.
• 쌍별 깊이 순서 예측 모델(OrderNet M+I)은 생성된 마스크에서 약 80%의 정확도, 진짜 마스크에서 약 90%의 정확도를 달성하여 강력한 일반화 능력을 입증했다.
• 마스크 품질이 깊이 순서 예측 성능에 크게 영향을 미치며, 진짜 마스크와 예측 마스크 간의 IoU가 높을수록 깊이 예측 정확도가 향상되었다.
• 현재 모델 성능에 비해 인간의 이모달 세그멘테이션 성능는 여전히 뚜렷하게 높아, 향후 연구에 있어 심각한 열린 과제임을 시사한다.