[논문 리뷰] Object-Aware Instance Labeling for Weakly Supervised Object Detection

Satoshi Kosugi, Toshihiko Yamasaki외 1명|arXiv (Cornell University)|2019. 08. 10.

Advanced Neural Network Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 약한 감독 객체 검출을 위한 객체 인식 인스턴스 레이블링을 제안하며, 반복적 개선을 향상시키기 위해 맥락 인식 양성(CAP) 및 공간 제한 음성(SRN) 레이블링을 도입한다. CAP는 각 영역의 맥락 분류 손실을 분석하여 전체 객체를 포함하는 영역을 식별한다. 반면 SRN은 공간적 제약을 통해 다른 객체가 음성으로 잘못 레이블링되는 것을 방지한다. 이 방법은 PASCAL VOC 2007에서 최고 성능인 mAP 47.6%와 VOC 2012에서 43.4%를 달성한다.

ABSTRACT

Weakly supervised object detection (WSOD), where a detector is trained with only image-level annotations, is attracting more and more attention. As a method to obtain a well-performing detector, the detector and the instance labels are updated iteratively. In this study, for more efficient iterative updating, we focus on the instance labeling problem, a problem of which label should be annotated to each region based on the last localization result. Instead of simply labeling the top-scoring region and its highly overlapping regions as positive and others as negative, we propose more effective instance labeling methods as follows. First, to solve the problem that regions covering only some parts of the object tend to be labeled as positive, we find regions covering the whole object focusing on the context classification loss. Second, considering the situation where the other objects contained in the image can be labeled as negative, we impose a spatial restriction on regions labeled as negative. Using these instance labeling methods, we train the detector on the PASCAL VOC 2007 and 2012 and obtain significantly improved results compared with other state-of-the-art approaches.

연구 동기 및 목표

• 반복적 약한 감독 객체 검출의 효율성과 정확도를 향상시키기 위해 인스턴스 레이블링 단계를 개선한다.
• 얼굴과 같은 부분의 높은 분류 가능성이 원인으로 일부 객체 영역이 잘못 양성으로 레이블링되는 문제를 해결한다.
• 동일 클래스의 다른 객체가 음성으로 잘못 레이블링되는 것을 방지한다.
• 강한 애너테이션 없이도 맥락 분류 손실과 공간 제약을 활용해 정확도를 향상시키는 데 목적이 있다.

제안 방법

• 각 영역의 맥락 분류 손실을 분석하여 전체 객체를 포함하는 영역을 식별하는 맥락 인식 양성(CAP) 레이블링을 제안한다.
• 영역 주변의 맥락 분류기로 손실을 계산하며, 맥락 손실이 낮은 영역일수록 전체 객체를 포함할 가능성이 높다.
• 객체 커버리지 비율에 따라 영역을 그룹화하는 커버리지 기반 집합 $\mathcal{S}_i$ 를 정의하고, 학습 중 각 그룹의 맥락 손실 $L_{\text{context}}^i$ 를 추적한다.
• 전체 객체 커버리지 후보로 하기 위해, 맥락 분류기 확률 $p_{cj}$ 가 낮은 영역을 임계값 $P_t$ 를 통해 선별한다.
• 양성 영역에서 멀리 떨어진 영역만 음성으로 레이블링되도록 공간 제약을 적용하는 공간 제한 음성(SRN) 레이블링을 도입한다. 이는 잘못된 음성 오류를 줄인다.
• 양성 영역에서 멀리 떨어진 영역만 음성으로 레이블링되도록 공간 제약을 적용하여 잘못된 음성 오류를 감소시킨다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만 존재하는 조건에서도 맥락 분류 손실을 활용해 전체 객체를 포함하는 영역을 식별할 수 있는가?
• RQ2 간단한 마스크 아웃 대신 맥락 인식 분류를 적용할 경우, 약한 감독 환경에서 전체 객체 탐지 성능이 향상되는가?
• RQ3 음성 레이블링 단계에서 공간 제약을 적용하면, 동일 클래스의 다른 객체가 배경으로 잘못 레이블링되는 것을 줄일 수 있는가?
• RQ4 기본 반복 레이블링 대비 제안된 인스턴스 레이블링 방법이 mAP 및 정위치 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 간단한 마스크 아웃 대신 맥락 분류를 사용할 경우, PASCAL VOC 2007에서 mAP 47.6%를 달성하여 47.1%로 개선된다.
• 전체 객체를 포함하는 영역일수록 맥락 분류 손실이 크게 감소함을 확인하여, 이 방법이 전체 객체 커버리지 식별에 효과적임을 입증한다.
• SRN 레이블링 방법은 동일 클래스의 다른 인스턴스가 음성으로 잘못 레이블링되는 것을 방지하여 정위치 일관성을 향상시킨다.
• PASCAL VOC 2012에서 mAP 43.4%를 달성하여, 기존 최고 성능 기법들을 초월한다.
• 제거 분석 결과, 간단한 마스크 아웃 대비 맥락 분류가 전체 객체 탐지에 더 효과적이며, CorLoc에서 1.8% 향상됨을 확인했다.