[논문 리뷰] Amodal Instance Segmentation

Ke Li, Jitendra Malik|arXiv (Cornell University)|2016. 04. 27.

Advanced Neural Network Applications참고 문헌 26인용 수 14

한 줄 요약

이 논문은 표준 모달 인스턴스 세그멘테이션 애너테이션에서 합성 은폐를 생성함으로써 유일하게 모달 인스턴스 세그멘테이션 애너테이션으로만 훈련하는, 처음으로 아모달 인스턴스 세그멘테이션을 위한 방법을 제안한다. 이 방법은 은폐된 이미지에서 아모달 밸리드를 예측하기 위해 CNN을 사용하며, 아모달 바운딩 박스를 추론하기 위해 반복적 바운딩 박스 확장을 도입하여, PASCAL VOC 및 PASCAL 3D+ 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이전 방법 대비 50% IoU에서 11.1점의 mAPr 향상을 기록한다.

ABSTRACT

We consider the problem of amodal instance segmentation, the objective of which is to predict the region encompassing both visible and occluded parts of each object. Thus far, the lack of publicly available amodal segmentation annotations has stymied the development of amodal segmentation methods. In this paper, we sidestep this issue by relying solely on standard modal instance segmentation annotations to train our model. The result is a new method for amodal instance segmentation, which represents the first such method to the best of our knowledge. We demonstrate the proposed method's effectiveness both qualitatively and quantitatively.

연구 동기 및 목표

• 아직 공개된 아모달 세그멘테이션 애너테이션이 부족하여 이 분야의 발전이 저해되고 있는 문제를 해결하기 위해.
• 인스턴스 세그멘테이션에서 보이는 부분과 은폐된 부분을 모두 예측할 수 있는 방법을 개발하여 은폐 추론을 가능하게 하기 위해.
• 실제 아모달 애너테이션을 필요로 하지 않고도 딥 러닝 모델을 위한 아모달 인스턴스 세그멘테이션을 훈련시키기 위해.
• 아모달 세그멘테이션 히트맵에서 아모달 바운딩 박스를 추론하기 위한 새로운 전략을 제안하기 위해.
• 모달 애너테이션에서 유도된 합성 데이터가 실제 세계의 아모달 세그멘테이션을 위한 모델 훈련에 효과적으로 기여할 수 있음을 입증하기 위해.

제안 방법

• 기존의 모달 인스턴스 세그멘테이션 마스크가 있는 이미지에 합성 은폐를 적용하여, 원래 마스크가 아모달 마스크의 지도 데이터가 되는 훈련 데이터를 생성한다.
• 모달 애너테이션만을 지도로 사용하여, 은폐된 이미지에서 원래의 아모달 마스크를 복원하는 데 CNN을 훈련시킨다.
• 정확한 아모달 마스크 예측을 위해 공간적 세부 정보를 유지하기 위해 스킵 커넥션을 갖춘 U-Net 스타일 아키텍처를 사용한다.
• 반복적 바운딩 박스 확장 기법을 도입하여, 아모달 세그멘테이션 히트맵에서 아모달 바운딩 박스를 추론한다. 이는 모달 바운딩 박스에서 시작하여 마스크 신뢰도 기반으로 확장한다.
• 테스트 시에는 아모달 바운딩 박스 애너테이션을 필요로 하지 않으며, 대신 히트맵이 확장을 안내한다.
• 감지 및 세그멘테이션 파이프라인에 통합되어, 감지를 위해 Faster R-CNN을 사용하고 아모달 세그멘테이션을 위해 제안된 모델을 활용한다.

실험 결과

연구 질문

• RQ1 표준 모달 인스턴스 세그멘테이션 애너테이션만을 사용하여 아모달 인스턴스 세그멘테이션을 효과적으로 훈련시킬 수 있는가?
• RQ2 훈련 중에 전체 객체를 보지 못한 채로 은폐된 객체 부분을 예측할 수 있는 모델은 어떻게 학습할 수 있는가?
• RQ3 모달 애너테이션에서 유도된 합성 은폐 데이터가 실제 아모달 애너테이션의 타당한 대체가 될 수 있는가?
• RQ4 지도 없이 아모달 세그멘테이션 출력에서 아모달 바운딩 박스를 어떻게 예측할 수 있는가?
• RQ5 제안된 방법은 실제 은폐 상황에 일반화되어 있으며, 아모달 세그멘테이션 작업에서 최신 기술 수준의 모달 세그멘테이션 모델을 초월하는가?

주요 결과

• Faster R-CNN과 결합했을 때, 제안된 방법은 50% IoU에서 평균 영역 평균 정밀도(mAPr)가 45.2로, IIS 기준 11.1점 향상되었고, 70% IoU에서는 22.6로 8.6점 향상되었다.
• 73%의 객체에서 제안된 방법이 예측한 아모달 마스크가 IIS의 모달 마스크보다 지도 마스크와 더 높은 IoU를 기록했으며, 겹침 비율에서 최대 50% 향상되었다.
• 모든 IoU 커프트에 걸쳐 정확도가 향상되었고, IIS 대비 정확도 곡선 아래 면적이 더 커 일관된 우수성을 보였다.
• 모델은 실제 은폐 상황에 잘 일반화되어 있으며, 실질적인 아모달 데이터로의 피지컬 튜닝 없이도 최신 기술 수준의 모달 방법보다 더 정확한 아모달 마스크를 생성했다.
• 제거 실험을 통해 합성 데이터 생성 전략과 반복적 바운딩 박스 확장 기법이 성능 향상에 효과적이라는 것이 확인되었다.
• 이 방법은 PASCAL VOC 및 PASCAL 3D+ 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여, 복잡하고 관절이 있는 객체로의 강력한 일반화 능력을 보였다.