[논문 리뷰] Towards Precise End-to-end Weakly Supervised Object Detection Network

Ke Yang, Dongsheng Li외 1명|arXiv (Cornell University)|2019. 11. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 45인용 수 6

한 줄 요약

이 논문은 단일 공통 백본에서 다중 예제 학습(MIL) 검출과 경계 박스 회귀를 동시에 최적화하는 엔드 투 엔드 약한 지도 학습 객체 검출 네트워크를 제안한다. 이는 이중 단계 학습의 국소 최소값 문제를 피한다. 분류 지도형 주의 모듈은 이미지 수준 레이블을 활용하여 특징 학습을 향상시키며, PASCAL VOC 2007과 2012에서 각각 47.0% mAP 및 VOC 2007에서 60.6% CorLoc 성능을 달성하여 최신 기준 수준에 도달한다.

ABSTRACT

It is challenging for weakly supervised object detection network to precisely predict the positions of the objects, since there are no instance-level category annotations. Most existing methods tend to solve this problem by using a two-phase learning procedure, i.e., multiple instance learning detector followed by a fully supervised learning detector with bounding-box regression. Based on our observation, this procedure may lead to local minima for some object categories. In this paper, we propose to jointly train the two phases in an end-to-end manner to tackle this problem. Specifically, we design a single network with both multiple instance learning and bounding-box regression branches that share the same backbone. Meanwhile, a guided attention module using classification loss is added to the backbone for effectively extracting the implicit location information in the features. Experimental results on public datasets show that our method achieves state-of-the-art performance.

연구 동기 및 목표

• 이중 단계 약한 지도 학습 객체 검출의 한계를 해결한다. 여기서 MIL 검출기는 특징적인 부분에 과적합되어 국소화 성능이 떨어진다.
• MIL 검출기가 생성한 정확도가 떨어지는 가짜 진짜 레이블로 인해 두 번째 단계의 회귀에서 국소 최소값 문제가 발생하는 문제를 해결한다.
• MIL 검출기와 경계 박스 회귀기의 엔드 투 엔드 동시 학습을 통해 국소화 정확도를 향상시킨다.
• 백본에 분류 지도형 주의 모듈을 도입하여, 이미지 수준 레이블을 활용해 국소화를 위한 특징 표현을 향상시킨다.
• 단일 통합 모델을 사용해 PASCAL VOC 2007 및 2012에서 최신 기준 성능을 달성하며, 다중 모델 앙상블보다 뛰어난 성능을 내는 것을 목표로 한다.

제안 방법

• 두 개의 병렬 브랜치를 가진 단일 딥 네ural 네트워크를 설계한다. 하나는 MIL 검출 브랜치이고, 다른 하나는 Fast R-CNN 방식의 분류 및 회귀 브랜치이며, 둘 다 동일한 백본을 공유한다.
• 영역 제안기(예: Selective Search)를 사용하고, 각 이미지에서 점수 상위 1개의 제안을 가짜 진짜 레이블로 회귀 브랜치에 사용한다.
• 이미지 수준 분류 손실을 활용해 특징 학습을 지도하는 주의 모듈을 도입하여 국소화 민감도를 향상시킨다.
• MIL 분류 손실, 분류 교차 엔트로피, 경계 박스 회귀 손실을 조합한 통합 손실 함수를 사용해 두 브랜치를 엔드 투 엔드로 학습시킨다.
• 각 개선 단계 이후에 회귀 브랜치의 RoI에 대해 특징 재추출을 적용하여 공간 일관성을 유지한다.
• 공정한 비교를 위해 OICR와 동일한 코드베이스를 사용하여 일관된 학습 및 평가 프로토콜을 확보한다.

실험 결과

연구 질문

• RQ1 MIL 검출과 경계 박스 회귀의 엔드 투 엔드 동시 최적화가 약한 지도 학습 객체 검출의 국소화 정확도를 향상시키는가?
• RQ2 이미지 수준 레이블로 학습된 지도형 주의 모듈이 객체 국소화를 위한 특징 표현을 향상시키는가?
• RQ3 통합 학습 전략이 이중 단계 방법에서 악성 부분(예: 고양이의 머리)에 과적합되는 MIL 검출기의 문제를 완화하는가?
• RQ4 기본 베이스라인과 비교해 성능 기준(예: mAP 및 CorLoc)에서 최신 기준 기술보다 우수한가?
• RQ5 통합 학습 전략이 높은 성능을 달성하기 위해 앙상블 모델이나 다단계 파이프라인에 의존하는 것을 줄이는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007에서 47.0% mAP 및 60.6% CorLoc 성능을 달성하며, 베이스라인 OICR+FRCN을 뛰어나며, 이전 연구의 앙상블 모델을 초월한다.
• OICR 기반 모델 대비 mAP를 6% 향상시켰으며, 추가로 객체 수 레이블을 사용한 C-WSL에 비해 1.5% 향상된 점을 고려하면 유의미한 성능 향상이다.
• 과적합에 취약한 고양이 및 강아지 카테고리에서는 각각 mAP가 38.6%, 16.3% 향상되어 국소 최소값 문제의 강력한 완화를 입증한다.
• 통합 학습 전략은 질적 비교를 통해 검출기가 특징적인 부분에 집중하는 경향을 줄이며, 더 완전한 객체 위치를 학습함을 보여준다.
• 앙상블 모델을 사용한 최신 기술의 성능(예: OICR의 앙상블 48.6% mAP)을 뛰어넘는 단일 모델 성능을 달성하여 통합 아키텍처의 효과를 입증한다.
• 지난 주의 모듈은 이미지 수준 레이블에서 유도된 전반적 맥락 정보를 활용해 특징 학습을 향상시켜 검출 정확도에 기여한다.