[논문 리뷰] Collaborative Learning for Weakly Supervised Object Detection

Jiajie Wang, Jiangchao Yao외 2명|ArXiv.org|2018. 02. 10.

Advanced Neural Network Applications참고 문헌 16인용 수 11

한 줄 요약

이 논문은 이미지 레이블만을 사용하여 강한 감독을 받는 검출기(Faster R-CNN 유사)와 약한 감독을 받는 검출기(WSDDN 유사)를 공유된 특징과 예측 일致성 손실을 통해 함께 훈련하는 약한 감독 공동 학습(WSCL) 프레임워크를 제안한다. 이로 인해 강한 감독을 위한 개체 수준 레이블이 필요 없이 상호 보완이 가능해져 PASCAL VOC 2007 및 2012에서 최신 기준 성능을 달성한다.

ABSTRACT

Weakly supervised object detection has recently received much attention, since it only requires image-level labels instead of the bounding-box labels consumed in strongly supervised learning. Nevertheless, the save in labeling expense is usually at the cost of model accuracy. In this paper, we propose a simple but effective weakly supervised collaborative learning framework to resolve this problem, which trains a weakly supervised learner and a strongly supervised learner jointly by enforcing partial feature sharing and prediction consistency. For object detection, taking WSDDN-like architecture as weakly supervised detector sub-network and Faster-RCNN-like architecture as strongly supervised detector sub-network, we propose an end-to-end Weakly Supervised Collaborative Detection Network. As there is no strong supervision available to train the Faster-RCNN-like sub-network, a new prediction consistency loss is defined to enforce consistency of predictions between the two sub-networks as well as within the Faster-RCNN-like sub-networks. At the same time, the two detectors are designed to partially share features to further guarantee the model consistency at perceptual level. Extensive experiments on PASCAL VOC 2007 and 2012 data sets have demonstrated the effectiveness of the proposed framework.

연구 동기 및 목표

• 약한 감독과 강한 감독을 받는 검출기 간의 정확도 격차를 해소하기 위해 상호 학습을 가능하게 하기 위해.
• 이미지 수준 레이블을 활용하면서 검출 성능을 향상시키는 통합된 훈련 프레임워크를 개발하기 위해.
• 강한 감독을 받는 검출기와의 협업을 통해 약한 감독 검출에서 특징 표현과 바운딩 박스 품질을 향상시키기 위해.
• 강한 감독을 받는 검출기를 개체 수준 레이블 없이 일치 제약 조건을 통해 훈련함으로써 고비용의 개체 수준 레이블 의존도를 제거하기 위해.

제안 방법

• 이중 스트림 아키텍처는 WSDDN 유사한 약한 감독 검출기와 Faster R-CNN 유사한 강한 감독 검출기를 통합한다.
• 두 하위 네트워크 간에 부분적인 특징 공유를 강제하여 인지적 표현을 정렬한다.
• 두 검출기 간의 개체 수준 예측 일치를 맞추고, Faster R-CNN 하위 네트워크 내부의 일치성을 확보하기 위해 새로운 예측 일치성 손실을 도입한다.
• 프레임워크는 둘 다 이미지 수준 레이블만을 감독 신호로 사용하여 엔드 투 엔드로 훈련된다.
• 약한 감독 검출기는 표준 분류 손실로 훈련되며, 강한 감독 검출기는 일치성 손실을 통해 최적화된다.
• 공동 학습 과정을 통해 강한 감독 검출기는 직접 바운딩 박스 레이블에 접근하지 않더라도 향상될 수 있다.

실험 결과

연구 질문

• RQ1 약한 감독 검출기의 지식을 활용하여 개체 수준 레이블 없이도 강한 감독 검출기를 효과적으로 훈련시킬 수 있는가?
• RQ2 특징 공유와 예측 일치를 통한 공동 훈련이 약한 감독 객체 검출에서 검출 정확도를 어떻게 향상시키는가?
• RQ3 공동 학습이 단독 약한 감독 방법에 비해 특징 표현과 바운딩 박스 정렬을 얼마나 향상시키는가?
• RQ4 약한 검출기로부터 가짜 레이블을 사용해 강한 검출기를 훈련하는 계단식 또는 순차적 접근 방식보다 통합 프레임워크가 더 우수한 성능을 낼 수 있는가?
• RQ5 검출기 간의 일치성을 강제하면 기존의 약한 감독 방법보다 더 날카우며 정확한 바운딩 박스를 얻을 수 있는가?

주요 결과

• 제안된 강한 감독 검출기(CL_S)는 PASCAL VOC 2012에서 43.3% mAP를 기록하여 비교된 최신 기준 방법들을 모두 능가한다.
• PASCAL VOC 2007에서는 CL_S가 49.4% mAP와 67.5% CorLoc를 기록하여 이전 방법들보다 mAP 기준 7.1% 이상, CorLoc 기준 4.1% 이상 향상되었다.
• 약한 감독 검출기(CL_W)는 공동 학습 후 크게 향상되어 더 좁고 정확도가 높은 바운딩 박스를 생성하여 전체 객체를 더 잘 커버한다.
• 공동 학습 과정을 통해 두 검출기가 상호 보완적으로 향상되며, 약 12,000 반복 이후 CL_S가 mAP에서 CL_W를 초월한다.
• 시각화 결과는 CL_S가 기준 약한 감독 검출기보다 더 정확하고 완전한 객체 정위치를 제공하는 것으로 나타났으며, 얼굴이나 날개와 같은 특징적인 부분에서 두드러진 성능 향상을 보였다.
• 예측 일치성 손실은 진정한 바운딩 박스가 없는 환경에서 강한 감독 검출기의 훈련을 효과적으로 이끌어내어 뛰어난 일반화 성능을 이끌어냈다.