[논문 리뷰] Weakly Supervised Semantic Labelling and Instance Segmentation

Anna Khoreva, Rodrigo Benenson외 3명|arXiv (Cornell University)|2016. 03. 24.

Advanced Neural Network Applications참고 문헌 9인용 수 12

한 줄 요약

이 논문은 경계 박스 애너테이션만을 사용하여 의미적 레이블링과 인스턴스 세분화를 위한 재귀적 약한 지도 학습 방법을 제안한다. 이는 컨volutional 네트워크를 통해 예측을 반복적으로 개선함으로써 이루어지며, 완전 지도 학습 모델의 성능의 약 95%를 달성한다. 특히 직사각형 기반 초기화 조건에서도 이전의 약한 지도 학습 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose to recursively train a convnet such that outputs are improved after each iteration. We explore which aspects affect the recursive training, and which is the most suitable box-guided segmentation to use as initialisation. Our results improve significantly over previously reported ones, even when using rectangles as rough initialisation. Overall, our weak supervision approach reaches ~95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

연구 동기 및 목표

• 의미적 레이블링과 인스턴스 세분화의 높은 애너테이션 비용 문제를 경계 박스 애너테이션에서 유도된 약한 지도 학습을 통해 해결하고자 한다.
• 최소한의 지도 학습으로도 예측을 반복적으로 향상시키는 재귀적 훈련 프레임워크를 개발하고자 한다.
• 약한 지도 학습 훈련을 위한 초기화로 사용되는 다양한 박스 유도 세분화 방법의 영향을 평가하고자 한다.
• 의미적 레이블링 및 인스턴스 세분화에서 경계 박스 수준의 애너테이션만을 사용하여 완전 지도 학습 모델에 가까운 성능을 달성하고자 한다.

제안 방법

• 이 방법은 경계 박스에서 유도된 약한 지도 학습을 활용하여 반복적으로 예측을 개선하는 컨볼루션 네트워크(컨브넷)를 재귀적으로 훈련한다.
• 초기 세분화 예측은 직사각형 기반 제안과 같은 박스 유도 방법을 사용하여 훈련 과정을 부트스트래핑한다.
• 이전 반복에서 유도된 가짜 레이블을 활용하여 모델이 반복적으로 예측을 향상시키며 애너테이션 의존도를 감소시킨다.
• 자기 개선을 통해 특징 학습과 세분화 정확도를 반복적으로 향상시키는 재귀적 훈련 루프를 사용한다.
• 약한 지도 학습 훈련을 위한 가장 효과적인 초기 시작점이 되는 다양한 초기화 전략을 평가한다.

실험 결과

연구 질문

• RQ1 경계 박스 지도 학습을 통한 재귀적 훈련이 의미적 레이블링 및 인스턴스 세분화 성능에 어떤 영향을 미치는가?
• RQ2 약한 지도 학습 환경에서 어떤 박스 유도 세분화 초기화 방법이 가장 높은 성능을 낼 수 있는가?
• RQ3 경계 박스를 통한 약한 지도 학습이 완전 지도 학습 모델의 성능에 얼마나 가까이 다가갈 수 있는가?
• RQ4 재귀적 훈련 과정의 수렴과 향상에 영향을 주는 요소들은 무엇인가?

주요 결과

• 제안된 재귀적 훈련 방법은 의미적 레이블링과 인스턴스 세분화 모두에서 완전 지도 학습 모델의 약 95% 성능을 달성한다.
• 직사각형 기반 초기화 조건에서도 뚜렷한 성능 향상이 관찰되어, 거친 지도 학습 조건에서도 강건함을 입증한다.
• 재귀적 정밀화 과정은 반복 횟수에 따라 일관되게 세분화 품질을 향상시키며, 효과적인 자기 지도 학습을 나타낸다.
• 초기 박스 유도 세분화 방법의 선택은 최종 성능에 상당한 영향을 미치며, 일부 방법은 다른 방법보다 뛰어난 성능을 보인다.