[논문 리뷰] Bayesian Semantic Instance Segmentation in Open Set World

Trung Pham, Vijay Kumar B G외 3명|arXiv (Cornell University)|2018. 06. 04.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 알려진 클래스에 대한 경계 상자 애너테이션만을 사용하여 알려진 및 미지의 객체를 모두 분할하는 베이지안 의미적 인스턴스 세분화 방법을 제안한다. 경계 기반 영역 계층을 기반으로 한 시뮬레이션된 냉각 최적화 이미지 분할 샘플러를 활용한 베이지안 프레임워크로 문제를 공식화함으로써, 알려진 클래스에서 경쟁적인 성능을 달성하고, 미지 객체에서 비지도 학습 방법을 초월한다.

ABSTRACT

This paper addresses the semantic instance segmentation task in the open-set conditions, where input images can contain known and unknown object classes. The training process of existing semantic instance segmentation methods requires annotation masks for all object instances, which is expensive to acquire or even infeasible in some realistic scenarios, where the number of categories may increase boundlessly. In this paper, we present a novel open-set semantic instance segmentation approach capable of segmenting all known and unknown object classes in images, based on the output of an object detector trained on known object classes. We formulate the problem using a Bayesian framework, where the posterior distribution is approximated with a simulated annealing optimization equipped with an efficient image partition sampler. We show empirically that our method is competitive with state-of-the-art supervised methods on known classes, but also performs well on unknown classes when compared with unsupervised methods.

연구 동기 및 목표

• 미지 객체 클래스가 나타날 수 있는 오픈셋 환경에서 의미적 인스턴스 세분화의 과제를 해결한다.
• 비용이 많이 드는 인스턴스 마스크 애너테이션에 대한 의존도를 줄이기 위해, 알려진 클래스에 대해서만 경계 상자 지도를 사용한 학습을 가능하게 한다.
• 지각적으로 일관된 영역을 군집화하고, 이를 알려진 탐지 결과 또는 미지 객체 클래스에 할당하는 글로벌 세분화 프레임워크를 개발한다.
• 탐지된 객체뿐 아니라 놓친 알려진 객체, 미지 객체 및 스타프 클래스(예: 하늘, 잔디)의 강력한 세분화를 가능하게 한다.

제안 방법

• 이미지 분할에 대한 사후 분포를 시뮬레이션된 냉각을 통해 근사하는 베이지안 추론 문제로 인스턴스 세분화를 공식화한다.
• 딥 뉴럴 네트워크 기반의 에지 검출을 통해 생성된 경계 기반 영역 계층을 활용하여 효율적인 이미지 분할 샘플링을 수행한다.
• 세 가지 경쟁적 가능도 모델을 통합한다: 경계 모델(미지 영역용), 기하학적 경계 상자 모델(알려진 탐지 결과용), 및 선택적 마스크 모델(알려진 인스턴스용).
• 과도한 영역 수를 방지하고 객체의 밀도를 증진시키는 사전 모델을 적용한다.
• 큰 분할 공간을 탐색하고 고품질 세분화로 수렴하기 위해 시뮬레이션된 냉각 최적화를 활용한다.
• 샘플링 중에 자연스럽게 분할, 병합, 또는 분할-병합 동작을 수행할 수 있도록 계층적 영역 선택 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 경계 상자 지도만을 사용하여 알려진 객체 클래스에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 해당 클래스에 대한 지도 없이도 미지 객체 클래스와 스타프 영역을 효과적으로 세분화할 수 있는가?
• RQ3 고차원 분할 공간에서 표준 기니스 샘플링에 비해 제안된 이미지 분할 샘플러는 효율성과 품질 면에서 어떻게 비교되는가?
• RQ4 경계 기반 영역 계층은 오픈셋 환경에서 세분화 정확도와 강건성에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 알려진 객체 클래스에서 마스크 R-CNN과 경쟁적인 mIoU 점수를 달성하였으며, 이는 마스크 애너테이션 없이 경계 상자 지도만으로 학습된 결과이다.
• 이 방법은 미지 객체 클래스와 스타프 영역(예: 잔디, 하늘)을 높은 정확도로 세분화하였으며, 이는 기존의 비지도 방법을 초월한다.
• 시뮬레이션된 냉각 기반 이미지 분할 샘플러는 큰 분할 공간을 효율적으로 탐색하여 표준 기니스 샘플링보다 더 빠르게 고품질 세분화를 달성한다.
• 경계 기반 영역 계층은 구조적이고 지각적으로 의미 있는 영역 제안을 제공함으로써 세분화 품질을 크게 향상시킨다.
• 이 방법은 알려지지 않은 객체 유형으로의 일반화가 잘 되어 있으며, 최첨단 지도 학습 모델이 실패하는 오픈셋 조건에서도 강건함을 보여준다.
• 마스크 R-CNN 예측 결과에 대한 픽셀 투표 후처리를 통해, 제안된 방법의 글로벌 픽셀 수준 라벨링 전략이 인스턴스 수준 마스크 출력보다 더 일관되고 정확하다는 것이 확인되었다.