[논문 리뷰] Multiple Instance Curriculum Learning for Weakly Supervised Object Detection

Siyang Li, Xiangxin Zhu외 3명|arXiv (Cornell University)|2017. 11. 25.

Image Retrieval and Classification Techniques참고 문헌 34인용 수 11

한 줄 요약

이 논문은 다중 예제 커리큘럼 학습(MICL)을 제안하며, 이는 감정 분류를 통해 탐지기의 초점을 분류 가능한 부분(예: 고양이의 얼굴)이 아닌 전체 객체로 유도하기 위해 의미적 세그멘테이션을 통합한 약한 감독 객체 탐지 방법이다. 탐지기와 세그멘테이터 예측 간 일관성을 사용해 자동으로 쉬운 훈련 예제를 선택함으로써, MICL은 점차 더 어려운 예제로 훈련을 진행하며, PASCAL VOC에서 기준 방법 대비 10.6% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

When supervising an object detector with weakly labeled data, most existing approaches are prone to trapping in the discriminative object parts, e.g., finding the face of a cat instead of the full body, due to lacking the supervision on the extent of full objects. To address this challenge, we incorporate object segmentation into the detector training, which guides the model to correctly localize the full objects. We propose the multiple instance curriculum learning (MICL) method, which injects curriculum learning (CL) into the multiple instance learning (MIL) framework. The MICL method starts by automatically picking the easy training examples, where the extent of the segmentation masks agree with detection bounding boxes. The training set is gradually expanded to include harder examples to train strong detectors that handle complex images. The proposed MICL method with segmentation in the loop outperforms the state-of-the-art weakly supervised object detectors by a substantial margin on the PASCAL VOC datasets.

연구 동기 및 목표

• 지오메트릭 라벨링이 부족한 상황에서 약한 감독 탐지기가 분류 가능한 부분(예: 고양이의 얼굴)에 집중하는 문제를 해결하기 위해.
• 훈련 루프에 의미적 세그멘테이션 네트워크를 통합하여 탐지기의 일반화 능력과 정확도를 향상시키기 위해.
• 예제의 어려움에 대한 명시적 감독이 필요 없이 잘못된 어려운 예제를 피할 수 있는 커리큘럼 학습 전략을 개발하기 위해.
• 탐지기와 세그멘테이터 예측 간 일관성이 예제의 쉬움을 신뢰할 수 있는 자동 측정 기준으로 사용될 수 있음을 입증하기 위해.

제안 방법

• 현재 탐지기의 시각적 중요도 맵을 사용해 세그멘테이션 시드를 생성하고, 이를 '시드, 확장 및 제약(SEED, Expand and Constrain, SEC)' 알고리즘을 통해 전체 마스크로 확장한다.
• 세그멘테이션 마스크를 재훈련 중 탐지기를 안내하는 데 사용함으로써, 탐지기가 분류 가능한 부분이 아닌 전체 객체의 범위를 학습하도록 보장한다.
• 탐지기 예측과 세그멘테이션 마스크 경계가 높게 일관성이 있는 예제를 선택하여 커리큘럼을 구성함으로써, 신뢰할 수 있는 국소화를 나타내는 예제를 선별한다.
• 반복적으로 훈련이 진행되며, 시각적 중요도 및 세그멘테이션을 통한 재국소화 후 현재의 쉬운 예제 집합에서 재훈련을 수행하고 점차 더 어려운 예제로 확장된다.
• 다중 예제 학습(MIL) 프레임워크는 커리큘럼 학습(CL)을 통해 보완되며, 각 라운드에서 사용되는 예제 집합은 무작위 샘플링이 아닌 일관성 기반으로 선택된다.
• 최종 탐지기는 수렴한 후 후처리 없이 직접 테스트 이미지에 적용된다.

실험 결과

연구 질문

• RQ1 의미적 세그멘테이션을 약한 감독 객체 탐지에 통합함으로써 분류 가능한 부분에 대한 국소화 편향을 줄일 수 있는가?
• RQ2 약한 감독에서 유도된 노이즈가 많은 가짜 라벨 예제를 사용할 때 커리큘럼 학습이 탐지기 성능을 향상시키는가?
• RQ3 탐지기와 세그멘테이터 예측 간 일관성이 효과적인 자기 지도적 예제 어려움 측정 기준으로 사용될 수 있는가?
• RQ4 제안된 MICL 방법은 표준 벤치마크에서 mAP와 CorLoc 측면에서 최신 기술 수준의 약한 감독 탐지기와 비교해 어떻게 성능을 내는가?

주요 결과

• MICL 방법은 PASCAL VOC 2012 테스트 세트에서 85.9% mAP를 달성하여 이전 최신 기술 수준의 방법(ConLoc)보다 8.5% 포인트 높은 성능을 보였다.
• VOC07 데이터셋에서, 커리큘럼 학습이 없는 기준 방법 대비 MICL은 CorLoc를 18.0% 포인트 향상시키고 mAP를 10.6% 포인트 향상시켰다.
• 커리큘럼 없이 세그멘테이션 신호만 사용할 경우, 초기 탐지기 대비 mAP는 4.4% 포인트 향상되고 CorLoc는 10.9% 포인트 향상되었다.
• 커리큘럼 학습을 제거하면 자동으로 선택된 쉬운 예제 집합에서 훈련한 경우에 비해 mAP가 1.7% 포인트 감소함으로써, 예제의 품질이 양보다 더 중요함을 입증하였다.
• 제거 분석 결과, 탐지기와 세그멘테이터의 일관된 예측이 더 정확한 국소화와 관련이 있으며, 과도한 및 과소 추정 오류를 모두 감소시킴을 확인하였다.
• '기체' 클래스에서 90.6%의 CorLoc, '오토바이' 클래스에서 85.5%의 CorLoc를 기록하여 도전적인 카테고리에서도 뛰어난 성능을 보였다.