[논문 리뷰] Deep Self-Taught Learning for Weakly Supervised Object Localization

Zequn Jie, Yunchao Wei외 3명|arXiv (Cornell University)|2017. 04. 18.

Indoor and Outdoor Localization Technologies참고 문헌 22인용 수 28

한 줄 요약

이 논문은 상대적 점수 향상 지표를 사용하여 온라인으로 고신뢰도 양성 제안을 수확함으로써 반복적으로 검출기 품질을 향상시키는 딥 데일프-타운드 학습 프레임워크를 제안한다. 이미지에서 객체로의 전이 및 조밀한 서브그래프 탐색을 조합함으로써, 이 방법은 최신 기술을 초월하여 PASCAL VOC 2007에서 56.1%의 CorLoc를 달성하고, 통합된 PASCAL 2007+2012 학습 세트에서 43.7%의 mAP를 기록한다.

ABSTRACT

Most existing weakly supervised localization (WSL) approaches learn detectors by finding positive bounding boxes based on features learned with image-level supervision. However, those features do not contain spatial location related information and usually provide poor-quality positive samples for training a detector. To overcome this issue, we propose a deep self-taught learning approach, which makes the detector learn the object-level features reliable for acquiring tight positive samples and afterwards re-train itself based on them. Consequently, the detector progressively improves its detection ability and localizes more informative positive samples. To implement such self-taught learning, we propose a seed sample acquisition method via image-to-object transferring and dense subgraph discovery to find reliable positive samples for initializing the detector. An online supportive sample harvesting scheme is further proposed to dynamically select the most confident tight positive samples and train the detector in a mutual boosting way. To prevent the detector from being trapped in poor optima due to overfitting, we propose a new relative improvement of predicted CNN scores for guiding the self-taught learning process. Extensive experiments on PASCAL 2007 and 2012 show that our approach outperforms the state-of-the-arts, strongly validating its effectiveness.

연구 동기 및 목표

• CNN 특징에서 공간 정보가 부족하여 기존의 약한 감독된 정위치 방법이 열악한 품질의 양성 샘플에 의존하는 한계를 해결하기 위해.
• 자신이 식별한 고품질로 날카롭게 국소화된 양성 샘플을 재학습함으로써 검출기가 점차적으로 향상되는 자가학습 학습 철학을 개발하기 위해.
• 신뢰도 높은 샘플 선택을 위한 상대적 향상 지표를 도입하여 열악한 초기 샘플에 과적합되는 것을 방지하기 위해.
• 공간적 상관관계를 활용하여 이미지에서 객체로의 전이와 조밀한 서브그래프 탐색을 통해 초기 양성 제안 품질을 향상시키기 위해.

제안 방법

• 목표 클래스에 대해 높은 신뢰도를 가진 객체 제안을 식별하기 위해 다중 레이블 분류 네트워크 응답을 사용하는 이미지에서 객체로의 전이 기법을 제안한다.
• 공간적 상관관계를 기반으로 초기 집합에서 공간적으로 분포된 고품질의 초기 양성 제안을 선택하기 위해 조밀한 서브그래프 탐색을 적용한다.
• 검출기가 자체 예측 점수를 사용하여 가장 날카롭고 신뢰도가 높은 양성 제안을 동적으로 선택하는 온라인 지원 샘플 수확(OSSH) 기법을 도입한다.
• 학습 중 과적합된 샘플을 걸러내고 나쁜 국소 최적화에 이를 방지하기 위해 CNN 점수의 새로운 상대적 향상 지표를 활용한다.
• 검출기 학습과 온라인 샘플 수확을 상호 보완하는 루프로 번갈아가며 반복적으로 정위치 품질을 개선한다.
• Fast R-CNN을 검출기 백본으로 사용하고, 제안된 자가학습 학습 파이프라인과 함께 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 자신이 고품질 양성 제안을 식별함으로써 검출기가 반복적으로 정위치 성능을 향상시킬 수 있는가?
• RQ2 예측된 CNN 점수의 상대적 향상 지표가 열악한 초기 샘플에 과적합되는 것을 효과적으로 방지할 수 있는가?
• RQ3 이미지에서 객체로의 전이와 조밀한 서브그래프 탐색을 조합하면 기존 방법보다 더 나은 초기 초기 제안을 얻을 수 있는가?
• RQ4 온라인 지원 샘플 수확이 약한 감독된 객체 정위치에서 오프라인 MIL 기반의 제안 탐색보다 우월한가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007의 trainval 세트에서 56.1%의 CorLoc를 달성하여 이전의 모든 MIL 기반 및 엔드 투 엔드 WSL 방법을 능가한다.
• PASCAL VOC 2007 테스트 세트에서 이 방법은 41.7%의 mAP를 기록하여 모든 최신 기술을 뛰어넘으며, PASCAL 2007과 2012 데이터셋을 함께 학습할 경우 43.7%로 향상된다.
• PASCAL VOC 2012에서 이 방법은 통합 학습 데이터를 사용할 경우 이전 최고 기술보다 약 10%포인트 높은 mAP(39.4% mAP)를 기록하며, trainval 세트에서 CorLoc가 4% 높아진다.
• 절단 분석 결과, OSSH에서 절대 점수 대비 상대적 점수 향상 지표를 사용할 경우 성능 향상이著명하게 향상되며, OSSH를 3개 에포크 동안 적용할 경우 CorLoc가 53.2%에서 56.1%로 상승한다.
• 정성적 결과는 이 방법이 점차 더 날카롭고 정확한 바운딩 박스를 정위치하는 경향을 보이며, 반복적인 개선을 통해 초기 초기 샘플의 잘못된 양성 결과를 수정함을 시사한다.
• HCP, DSD, 및 OSSH와 상대적 향상 지표의 조합이 가장 높은 정위치 정확도를 달성하며, 파이프라인 내 각 구성 요소의 효과성을 입증한다.