[논문 리뷰] Optimizing Region Selection for Weakly Supervised Object Detection

Wenhui Jiang, Thuyen Ngo외 3명|arXiv (Cornell University)|2017. 08. 05.

Advanced Neural Network Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 약한 지도 학습에서 객체 검출을 위한 엔드 투 엔드 최적화된 영역 선택 전략을 제안하며, 훈련 과정에서 쉽게 구분되는 배경 영역을 점진적으로 제거하고, 클래스별 하드 음성 예측을 채굴하여 분류 성능를 향상시킨다. 각 SGD 미니배치에 영역 선택을 통합함으로써, PASCAL VOC 2007에서 37.4%의 최고 수준 mAP를 달성하며, 이는 이전의 MIL 기반 방법보다 5.8% 향상된 성능이다.

ABSTRACT

Training object detectors with only image-level annotations is very challenging because the target objects are often surrounded by a large number of background clutters. Many existing approaches tackle this problem through object proposal mining. However, the collected positive regions are either low in precision or lack of diversity, and the strategy of collecting negative regions is not carefully designed, neither. Moreover, training is often slow because region selection and object detector training are processed separately. In this context, the primary contribution of this work is to improve weakly supervised detection with an optimized region selection strategy. The proposed method collects purified positive training regions by progressively removing easy background clutters, and selects discriminative negative regions by mining class-specific hard samples. This region selection procedure is further integrated into a CNN-based weakly supervised detection (WSD) framework, and can be performed in each stochastic gradient descent mini-batch during training. Therefore, the entire model can be trained end-to-end efficiently. Extensive evaluation results on PASCAL VOC 2007, VOC 2010 and VOC 2012 datasets are presented which demonstrate that the proposed method effectively improves WSD.

연구 동기 및 목표

• 약한 지도 학습 하에서 낮은 정밀도와 제한된 다양성을 보이는 양성 영역 선택 문제를 해결한다.
• 클래스별 하드 샘플을 채굴하여 음성 영역 품질을 향상시켜 검출기의 분류 성능를 높인다.
• 영역 선택을 객체 검출기 훈련과 통합하여 SGD 업데이트 중에 공동의 엔드 투 엔드 최적화를 가능하게 한다.
• 점진적으로 양성 훈련 영역에서 쉽게 구분되는 배경 잡음들을 제거하여 객체-배경 모호성을 줄인다.
• 각 미니배치에서 영역 선택과 검출을 공동으로 업데이트하여 더 빠르고 효과적인 훈련을 달성한다.

제안 방법

• 훈련 중에 초기 양성 후보 집합에서 쉽게 구분되는 배경 영역을 점진적으로 제거하여 양성 훈련 집합을 정제한다.
• 이미지가 음성으로 레이블링된 경우, 클래스별 하드 음성 샘플을 선택하기 위해 특수한 전략을 사용한다.
• CNN 기반의 약한 지도 학습 검출 프레임워크 내부에 영역 선택 모듈을 통합하여, 모든 SGD 미니배치에서 업데이트한다.
• 검출기의 예측 결과를 활용해 양성 집합에서 쉽게 구분되는 배경을 동적으로 식별하고 제거함으로써 모호성을 줄인다.
• 반복적인 배경 제거를 통해 정밀도를 향상시키면서도 다양한 양성 영역을 유지하여 높은 재현율을 확보한다.
• 객체 검출기와 영역 선택기의 공동 훈련을 통해 빈번한 파라미터 업데이트를 통한 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습에서 객체-배경 모호성을 줄이기 위해 양성 영역 선택을 어떻게 최적화할 수 있는가?
• RQ2 클래스별 하드 음성 샘플을 사용할 경우 검출기의 분류 성능와 정밀도에 어떤 영향을 미치는가?
• RQ3 영역 선택과 검출기 훈련을 하나의 엔드 투 엔드 프레임워크에서 공동 최적화할 수 있는가? 이는 훈련 효율성과 성능 향상에 기여하는가?
• RQ4 쉽게 구분되는 배경을 점진적으로 제거함으로써 양성 훈련 영역의 정밀도와 다양성은 어느 정도 향상되는가?
• RQ5 기존의 MIL 기반 접근법과 비교했을 때, 제안된 방법은 표준 벤치마크에서 mAP와 CorLoc 측면에서 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007 테스트 세트에서 평균 평균 정밀도(mAP) 37.4%를 달성하였으며, 이는 이전의 최고 성능을 기록한 MIL 기반 방법보다 5.8% 향상된 성능이다.
• PASCAL VOC 2010과 VOC 2012에서 각각 mAP 36.0%와 33.6%를 기록하였으며, 이는 최신 기준 모델들을 크게 능가하는 성능이다.
• VOC 2007에서 CorLoc는 57.3%를 기록하여, 훈련 세트 내 진짜 양성 영역의 정확한 위치 파악 능력이 뛰어나다는 것을 시사한다.
• 기준 모델 대비 20개 카테고리 중 19개에서 검출 성능 향상을 보였으며, 정위치화 정확도와 검출 정확도 양면에서 뚜렷한 향상이 있었다.
• 전체 이미지 CAM을 사용하는 CNN 기반 모델과 비교했을 때, 제안된 방법은 CorLoc를 10.5% 향상시키고 mAP를 11.7% 향상시켰다. 이는 영역 수준의 필터링이 이미지 수준의 지도 학습보다 유리함을 보여준다.
• 시각적 결과는 소형 및 부분적으로 가려진 객체의 강력한 정위치화 능력을 보여주지만, 경계 상자 정밀도 향상과 외관적으로 유사한 카테고리 간의 혼동 문제는 여전히 남아 있다.