[논문 리뷰] Cap2Det: Learning to Amplify Weak Caption Supervision for Object Detection

Keren Ye, Mingda Zhang외 4명|arXiv (Cornell University)|2019. 07. 23.

Multimodal Machine Learning Applications참고 문헌 43인용 수 6

한 줄 요약

Cap2Det는 자유형 이미지 캡션을 감독으로 활용하여, 훈련 중인 데이터셋의 경계를 초월해 일반화할 수 있는 텍스트 전용 분류기를 훈련시켜 약한 신호를 강화함으로써, 추가적인 미세조정이나 앙상블 없이도 PASCAL VOC 및 COCO 벤치마크에서 최신 기준 성능을 달성하는 새로운 약한 감독 객체 검출 프레임워크를 제안한다. 이는 기존 방법 대비 최대 11% 높은 mAP 성능을 기록한다.

ABSTRACT

Learning to localize and name object instances is a fundamental problem in vision, but state-of-the-art approaches rely on expensive bounding box supervision. While weakly supervised detection (WSOD) methods relax the need for boxes to that of image-level annotations, even cheaper supervision is naturally available in the form of unstructured textual descriptions that users may freely provide when uploading image content. However, straightforward approaches to using such data for WSOD wastefully discard captions that do not exactly match object names. Instead, we show how to squeeze the most information out of these captions by training a text-only classifier that generalizes beyond dataset boundaries. Our discovery provides an opportunity for learning detection models from noisy but more abundant and freely-available caption data. We also validate our model on three classic object detection benchmarks and achieve state-of-the-art WSOD performance. Our code is available at https://github.com/yekeren/Cap2Det.

연구 동기 및 목표

• 객체 검출에서 경계 상자 레이블링의 높은 비용 문제를 해결하기 위해, 자유롭게 이용 가능한 비정형 이미지 캡션을 약한 감독으로 활용하는 것.
• 실제 환경에서는 흔히 확보되지 않는 정밀한 이미지 수준의 레이블이 필요한 기존 약한 감독 검출(WSOD) 방법의 한계를 극복하는 것.
• 정확도가 떨어지고 완전하지도 않으며 노이즈가 많은 캡션으로부터 의미 있는 객체 수준의 감독 신호를 추출할 수 있는 방법을 개발하는 것.
• 사람이 작성한 캡션과 이미지 내 실제 객체 사이의 격차를 메우기 위해, 캡션을 객체 카테고리로 매핑할 수 있는 일반화 가능한 텍스트 분류기를 학습하는 것.
• 경계 상자 레이블링에 의존하지 않고, 캡션에서 유도된 이미지 수준의 레이블만을 사용하여 최신 기준 WSOD 성능을 달성하는 것.

제안 방법

• 소량의 객체 레이블을 기반으로 텍스트 전용 분류기를 훈련시어 자유형 캡션을 이산적인 객체 카테고리로 매핑하게 하여, 훈련 데이터셋의 경계를 초월한 일반화 능력을 확보한다.
• 텍스트 분류기로부터 예측된 의사 레이블을 다중 예제 학습(MIL) 기반 객체 검출기의 약한 감독으로 활용한다.
• 객체 제안서에 대해 클래스 점수와 검출 점수를 반복적으로 개선하는 반복적 정밀 조정(OICR) 과정을 도입하여 정위치 정확도를 향상시킨다.
• 사전에 준비된 영역 제안서를 사용하고, 미분 가능하며 종단 간(end-to-end) 훈련 방식을 통해 클래스 점수와 검출 점수를 동시에 최적화한다.
• 텍스트 분류기를 활용해 목표 객체를 언급할 가능성이 낮은 캡션을 제거하는 필터링 메커니즘을 적용하여 노이즈를 줄이고 데이터 품질을 향상시킨다 (예: Flickr30K에서 Flickr200K 생성).
• 이중 단계 훈련 파이프라인을 적용: 먼저 COCO에서 텍스트 분류기를 훈련한 후, 이를 VOC 및 COCO의 후속 검출 작업에 전이한다.

실험 결과

연구 질문

• RQ1 경계 상자 레이블링이 필요 없이 자유형 자연어 캡션을 효과적으로 활용하여 약한 감독 객체 검출기를 훈련시킬 수 있는가?
• RQ2 노이즈가 많고 정확도가 떨어지며 완전하지 않은 캡션의 신호를 어떻게 개선하여 객체 검출에 유용하게 만들 수 있는가?
• RQ3 소량의 객체 카테고리에서 훈련된 텍스트 분류기가 다양한 데이터셋 간에 다양하게 표현된 캡션을 관련 객체 카테고리로 매핑하는 데 충분히 일반화될 수 있는가?
• RQ4 일반화 가능한 텍스트 분류기를 통해 약한 캡션 신호를 강화하면 기존 WSOD 방법 대비 검출 성능 향상이 이루어지는가?
• RQ5 캡션 데이터의 양이 증가함에 따라 검출 성능가 어떻게 변화하며, 이러한 시스템의 잠재적 상한선은 어느 정도인가?

주요 결과

• Cap2Det는 100만 장의 캡션 이미지로 훈련했을 때, 적합한 제곱근 함수를 사용해 추정한 결과 PASCAL VOC 2007에서 54.4% mAP 성능을 기록한다.
• PASCAL VOC 2007에서 Cap2Det는 가장 강력한 단일 모델 기반선(PCL-OB-G VGG16)보다 11% 높은 mAP를 기록했으며, TS2C 방법보다도 9% 높은 성능을 달성한다.
• PASCAL VOC 2012에서 Cap2Det는 IoU=0.5일 때 23.4% mAP를 기록했고, COCO에서 mAP@0.5:0.95 기준으로 이전 최고 기준 WSOD 방법(PCL-OB-G Ens.+FRCNN)보다 15% 높은 성능을 기록한다.
• 반복적 정밀 조정(OICR)을 사용하지 않은 상태에서 OICR VGG_M 기반 아키텍처 대비 27% mAP 향상을 기록하여, 제안된 검출 백본의 효과성을 입증한다.
• OICR를 사용한 반복적 정밀 조정은 VOC 2007에서 30% mAP 향상을 이끌었으며, 동일한 설정에서 기반선 OICR 방법보다 8% 높은 성능을 기록한다.
• 후처리나 앙상블 없이도 경쟁 가능한 성능을 기록함으로써, 캡션 감독에서 유래한 강력한 내재적 일반화 능력을 입증한다.