[논문 리뷰] Multiple instance active learning for object detection

Tianning Yuan, Fang Wan외 5명|arXiv (Cornell University)|2021. 04. 06.

Machine Learning and Algorithms참고 문헌 42인용 수 8

한 줄 요약

이 논문은 다중 예제 활성 객체 검출(MI-AOD)을 제안한다. 이는 적대적 인스턴스 분류기를 통해 인스턴스 수준의 불확실성을 모델링하고, 다중 예제 학습(MIL)을 사용해 노이즈가 있는 배경 제안을 억제하기 위해 인스턴스를 재가중하는 새로운 활성 학습 프레임워크이다. 반복적으로 불확실성 추정을 개선하고 인스턴스 수준과 이미지 수준의 불확실성 간의 다리를 놓음으로써, MI-AOD는 소량의 라벨 데이터로 훈련할 때 PASCAL VOC에서 mAP 기준으로 이전 방법들보다 최대 17.09% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Despite the substantial progress of active learning for image recognition, there still lacks an instance-level active learning method specified for object detection. In this paper, we propose Multiple Instance Active Object Detection (MI-AOD), to select the most informative images for detector training by observing instance-level uncertainty. MI-AOD defines an instance uncertainty learning module, which leverages the discrepancy of two adversarial instance classifiers trained on the labeled set to predict instance uncertainty of the unlabeled set. MI-AOD treats unlabeled images as instance bags and feature anchors in images as instances, and estimates the image uncertainty by re-weighting instances in a multiple instance learning (MIL) fashion. Iterative instance uncertainty learning and re-weighting facilitate suppressing noisy instances, toward bridging the gap between instance uncertainty and image-level uncertainty. Experiments validate that MI-AOD sets a solid baseline for instance-level active learning. On commonly used object detection datasets, MI-AOD outperforms state-of-the-art methods with significant margins, particularly when the labeled sets are small. Code is available at https://github.com/yuantn/MI-AOD.

연구 동기 및 목표

• 객체 검출을 위해 특별히 설계된 인스턴스 수준의 활성 학습 방법의 부족을 해결하기 위해.
• 이미지 수준의 불확실성 추정에서 노이즈가 있는 배경 인스턴스의 간섭을 줄이기 위해.
• 더 정확한 정보성 있는 이미지 선택을 위해 인스턴스 수준의 불확실성과 이미지 수준의 불확실성 간 격차를 메우기 위해.
• 최소한의 라벨 데이터로 검출기 성능을 향상시키는 강력한 활성 학습 프레임워크를 개발하기 위해.
• 불확실성 기반 이미지 선택을 사용해 새로운 SOTA 기준선을 설정하기 위해.

제안 방법

• 비밀번호 기반 인스턴스 분류기를 두 개 사용해 라벨이 없는 객체 제안의 불확실성을 추정하는 인스턴스 불확실성 학습(IUL) 모듈을 제안한다.
• 각 이미지를 인스턴스의 집합으로 간주하고 외관 일관성과 분류 신뢰도 기반으로 인스턴스를 재가중하는 다중 예제 학습(MIL) 모듈을 활용한다.
• 인스턴스 수준의 예측을 이미지 수준의 라벨과 일치시키기 위해 인스턴스 불확실성과 이미지 수준의 분류 손실을 함께 최적화한다.
• 불확실성과 재가중을 반복적으로 개선하여 노이즈가 있는 인스턴스를 억제하고 정보성 있는 인스턴스를 강조한다.
• 두 인스턴스 분류기 간의 불일치 최대화를 통해 불확실성 추정을 향상시키고, 라벨이 있는 데이터와 없는 데이터 간의 도메인 이동을 줄인다.
• 특징 피라미드와 표준 검출기(예: RetinaNet)를 백본으로 사용하며, 불확실성 및 재가중 모듈을 플러그 앤 플레이 방식으로 통합한다.

실험 결과

연구 질문

• RQ1 인스턴스 수준의 불확실성 추정이 활성 객체 검출에서 이미지 선택을 안내하는 데 효과적으로 사용될 수 있는가?
• RQ2 노이즈가 있는 배경 인스턴스는 어떻게 걸러내어 이미지 수준의 불확실성 추정을 향상시킬 수 있는가?
• RQ3 MIL 기반 재가중은 인스턴스 수준과 이미지 수준의 불확실성 간 격차를 어느 정도 메울 수 있는가?
• RQ4 단순한 인스턴스 불확실성 평균화와 비교해 반복적인 불확실성 학습과 재가중이 더 나은 정보성 있는 이미지 선택을 이끌 수 있는가?
• RQ5 제안된 방법은 훨씬 적은 라벨 이미지로 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• PASCAL VOC에서 라벨 데이터의 5%만 사용할 때 첫 세 번의 활성 학습 라운드 동안 MI-AOD는 최신 기술 수준(SOTA) 활성 학습 방법보다 mAP 기준 최대 17.09% 향상되었다.
• 마지막 라운드에서 라벨 데이터의 20%를 사용했을 때 MI-AOD는 68.48%의 mAP를 기록했으며, IUL 대비 1.28% 향상되고 랜덤 선택 대비 1.39% 향상되었다.
• 인스턴스 불확실성 재가중(IUR) 모듈은 전체 데이터로 훈련할 때 검출기 성능을 1.09% 향상시켜 노이즈가 있는 인스턴스를 효과적으로 걸러내는 것으로 확인되었다.
• 하이퍼파rameter를 조정한 결과(λ=0.5, k=10k)에서 MI-AOD는 모든 설정에서 최고의 성능을 기록했으며, 이는 방법의 강건성을 확인한다.
• 시각화 결과는 IUR가 배경 간섭을 효과적으로 억제하고 진짜 양성 인스턴스를 강조함으로써 불확실성 국소화를 향상시킨다는 것을 보여준다.
• 통계 분석 결과 MI-AOD는 기준 방법보다 라운드당 더 많은 진짜 양성 인스턴스를 선택함으로써 더 나은 정보성 있는 객체 활성화를 이룬다는 것이 확인되었다.