[논문 리뷰] Detector Discovery in the Wild: Joint Multiple Instance and Representation Learning

Judy Hoffman, Deepak Pathak외 2명|arXiv (Cornell University)|2014. 12. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 7

한 줄 요약

이 논문은 보조 카테고리에서의 강한 애너테이션을 활용하여 약한 레이블이 부여된 이미지에서 객체 검출기 표현을 동시에 최적화하고 객체를 검출하는 통합 학습 프레임워크를 제안한다. 다중 인스턴스 학습과 교차 도메인 표현 전이를 조합함으로써, 이전의 약한 지도 학습 방법 대비 200% 향상된 mAP 성능을 달성하였고, ImageNet-200 검출에서 도메인 적응 기반 기준 대비 12% 향상된 성능을 보였다.

ABSTRACT

We develop methods for detector learning which exploit joint training over both weak and strong labels and which transfer learned perceptual representations from strongly-labeled auxiliary tasks. Previous methods for weak-label learning often learn detector models independently using latent variable optimization, but fail to share deep representation knowledge across classes and usually require strong initialization. Other previous methods transfer deep representations from domains with strong labels to those with only weak labels, but do not optimize over individual latent boxes, and thus may miss specific salient structures for a particular category. We propose a model that subsumes these previous approaches, and simultaneously trains a representation and detectors for categories with either weak or strong labels present. We provide a novel formulation of a joint multiple instance learning method that includes examples from classification-style data when available, and also performs domain transfer learning to improve the underlying detector representation. Our model outperforms known methods on ImageNet-200 detection with weak labels.

연구 동기 및 목표

• 목표 카테고리에 대해 약한 레이블(예: 이미지 수준 태그)만 제공될 때 정확한 객체 검출기를 훈련하는 데 도전한다.
• 이전 방법들이 보조 강한 레이블 데이터를 무시하거나 표현과 검출기를 동시에 최적화하지 못하는 한계를 극복한다.
• 강하게 레이블링된 보조 카테고리에서 학습된 인지 표현을 약한 레이블이 부여된 목표 카테고리로 전이하여 검출기 성능을 향상시킨다.
• 희귀하거나 미대표성 있는 카테고리에 대해 최소한의 바운딩 박스 애너테이션으로도 실제 환경에서 효과적인 검출을 가능하게 한다.

제안 방법

• 약한 레이블이 부여된 이미지와 강한 레이블이 부여된 보조 데이터를 모두 영역의 집합으로 간주하는 새로운 통합 다중 인스턴스 학습(MIL) 프레임워크를 제안하여 잠재적 객체 후보들에 대한 공동 최적화를 가능하게 한다.
• 강하게 레이블링된 보조 카테고리(예: ImageNet-100)에서 훈련된 검출 모델의 깊이 신경망 표현을 약한 레이블이 부여된 목표 카테고리(예: ImageNet-200)로 전이하여 초기화 및 일반화 성능을 향상시킨다.
• 이중 단계 훈련 과정을 적용한다: 첫 번째 단계에서는 MIL을 통해 약한 레이블이 부여된 이미지에서 긍정적 객체 패치를 탐지하고, 두 번째 단계에서는 탐지된 패치와 강한 레이블을 함께 사용하여 표현 특징과 검출기 가중치를 공동으로 미세조정한다.
• 모든 완전 연결 계층이 재훈련 중에 미세조정되는 CNN 아키텍처를 활용하여 표현 특징과 검출 헤드를 함께 정교화함으로써 국소화 및 분류 정확도를 향상시킨다.
• 분류 스타일 데이터(약한 레이블)와 검출 스타일 데이터(강한 레이블)를 통합 최적화 목표에 통합하여 카테고리 간 표현 지식을 공유한다.
• 도메인 적응 원리를 적용하여 소스(보조) 도메인과 타겟(목표) 도메인 간 특징 분포를 정렬함으로써, 미리 보지 않은 카테고리로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 대상 카테고리의 표현과 검출기를 동시에 최적화하는 통합 학습 방식이, 검출기나 표현을 별도로 최적화하는 것보다 약한 지도 학습 객체 검출 성능을 향상시키는가?
• RQ2 보조 카테고리에서의 강한 애너테이션은 약한 레이블만 있는 목표 카테고리의 검출 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 긍정적 패치 탐지 이후 표현 특징과 검출기 가중치를 함께 개선하는 방식이 별도의 재훈련보다 국소화 및 분류 성능을 더 좋게 하는가?
• RQ4 제안된 방법은 약한 레이블 기반 검출 벤치마크에서 최신 기술 기반의 MIL 및 도메인 적응 기반 접근법 대비 mAP 측정치에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 약한 레이블이 부여된 ImageNet-200 검출 벤치마크에서 이전 최신 기술 기반의 MIL 방법(LCL) 대비 평균 평균 정확도(mAP)가 200% 향상되었다.
• 동일한 벤치마크에서 이전 최고의 도메인 적응 방법(LSDA) 대비 12% 향상된 mAP 성능을 기록하여 통합 MIL 및 표현 학습의 효과성을 입증하였다.
• 긍정적 패치 탐지 이후 표현 특징과 검출 헤드를 공동으로 미세조정하는 것이 가장 높은 성능을 보였으며, ILSVRC13의 val2 세트에서 mAP가 22.74%에 도달하였다.
• 품질 비교 결과에 따르면, 국소화 오류를 크게 줄이고 공존하거나 유사한 카테고리(예: 스포츠 장면에서 농구선수 대신 공을 검출하는 것)와의 혼동을 줄였다.
• 이전 방법들이 큰 주목적 전경 객체로 인해 혼동하여 실패했던 복잡한 장면에서 작은 객체(예: 헬멧, 공 등)를 효과적으로 탐지할 수 있었다.
• 학습 세트에 포함되지 않은 새로운 카테고리로도 잘 일반화되어, 최소 또는 전혀 바운딩 박스 애너테이션이 없어도 검출기 발견이 가능하다.