[논문 리뷰] Weakly Supervised Object Boundaries

Anna Khoreva, Rodrigo Benenson외 3명|arXiv (Cornell University)|2015. 11. 24.

Infrastructure Maintenance and Monitoring참고 문헌 31인용 수 5

한 줄 요약

이 논문은 오직 경계 상자 애너테이션만을 사용하여 최신 기술 수준의 성능을 달성하는 약한 감독 방법을 제안한다. 이는 비용이 많이 드는 개체 수준 경계 애너테이션의 필요성을 제거한다. 객체 검출기와 비지도 분할, 일반 경계 검출기를 융합함으로써 고품질의 약한 감독 신호를 생성하며, 이는 Pascal VOC 및 SBD 벤치마크에서 완전히 감독된 방법보다 뛰어난 성능을 보인다.

ABSTRACT

State-of-the-art learning based boundary detection methods require extensive training data. Since labelling object boundaries is one of the most expensive types of annotations, there is a need to relax the requirement to carefully annotate images to make both the training more affordable and to extend the amount of training data. In this paper we propose a technique to generate weakly supervised annotations and show that bounding box annotations alone suffice to reach high-quality object boundaries without using any object-specific boundary annotations. With the proposed weak supervision techniques we achieve the top performance on the object boundary detection task, outperforming by a large margin the current fully supervised state-of-the-art methods.

연구 동기 및 목표

• 개체 수준의 객체 경계 레이블링에 대한 높은 애너테이션 비용 문제를 해결하기 위해, 이는 경계 상자 애너테이션보다 훨씬 더 비용이 많이 든다.
• 특정 객체의 경계를 어떤 클래스별 경계 애너테이션 없이 학습할 수 있는지 조사하기 위해.
• 경계 상자와 일반 경계를 활용하여 고품질의 객체 경계 예측을 생성하는 약한 감독 기법을 개발하기 위해.
• 최소한의 감독으로 표준 경계 검출 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 이 방법은 객체 검출기와 비지도 이미지 분할(예: MCG, SeSe) 및 일반 경계 검출기(예: BSDS에서의 SE)를 융합하여 약한 경계 애너테이션을 생성한다.
• 교차 연산(예: SeSe ∩ BBs)을 사용하여 경계 상자 검출 결과와 분할 제안을 융합하여 가짜 정답 경계를 생성한다.
• 이 방법은 이중 단계 프레임워크를 사용한다: 첫 번째로 객체 검출기가 객체를 국소화하고, 두 번째로 검출 및 분할 출력에서 유도된 약한 감독 가짜 레이블을 기반으로 경계 검출기를 훈련한다.
• 모델 훈련을 위해 决정 숲(SE)과 딥 컨volution 네트워크(HED)를 모두 활용하며, 후자는 분류 데이터셋에서 사전 훈련된 상태로 사용된다.
• 약한 감독 전략은 객체 제안과 경계 반응 간의 공간 일관성을 활용하여 경계 예측을 개선한다.
• 최종 모델은 이전 연구와 동일한 프rotocol를 사용하여 Pascal VOC, SBD, COCO 벤치마크에서 표준 지표(mF, AP)로 평가된다.

실험 결과

연구 질문

• RQ1 훈련 중에 어떤 개체 수준 경계 애너테이션도 사용하지 않고도 특정 객체 경계를 정확하게 검출할 수 있는가?
• RQ2 오직 경계 상자 애너테이션만으로도 완전히 감독된 방법과 비교해도 성능이 유사하거나 뛰어나게 할 수 있는가?
• RQ3 객체 검출기, 비지도 분할, 일반 경계 검출기를 융합하여 신뢰할 수 있는 약한 감독 신호를 얼마나 효과적으로 생성할 수 있는가?
• RQ4 약한 감독 모델은 재학습 없이도 새로운 객체 클래스나 데이터셋으로 일반화할 수 있는가?

주요 결과

• 오직 경계 상자 애너테이션만을 사용하는 제안된 약한 감독 방법은 Pascal VOC 2012 경계 검출 벤치마크에서 최신 기술 수준의 성능를 달성하며, 이전에 보고된 완전히 감독된 결과를 초월한다.
• SBD 벤치마크에서 최고의 약한 감독 모델(Det.+HED with consistent S&G ∩ BBs)은 평균 F-스코어 52와 mAP 47를 기록하여 이전의 방법들을 능가한다.
• VOC에서 약한 감독으로 훈련된 모델는 COCO로 일반화가 잘 되어 있으며, COCO에서 재학습 없이도 완전히 감독된 SE 모델과 유사한 성능를 기록한다.
• 이 방법은 다각형 경계 애너테이션의 필요성을 제거함으로써 애너테이션 비용을 크게 줄이며, 검출 품질을 유지하거나 향상시킨다.
• 정성적 결과는 약한 감독 모델이 비객체 경계를 억제하고 관련 객체 인스턴스에 집중하며, 완전히 감독된 성능에 매우 가까운 결과를 보임을 보여준다.
• 이 방법은 노이즈가 많은 애너테이션에 대해 강건하며, 높은 애너테이션 노이즈 조건에서도 성능 저하가 최소한으로 유지되어 실용성을 입증한다.