[논문 리뷰] Mixed Supervised Object Detection with Robust Objectness Transfer

Yan Li, Junge Zhang외 2명|arXiv (Cornell University)|2018. 02. 27.

Advanced Neural Network Applications참고 문헌 38인용 수 5

한 줄 요약

이 논문은 완전히 레이블링된 카테고리에서 도메인 불변 객체성 지식을 활용하여 혼합 지도 학습 객체 검출에서 새로운 카테고리의 약한 지도 학습 검출 성능을 향상시키는 강건한 객체성 전이 방법을 제안한다. 도메인 간 공통되는 특징을 학습하고 다중 예제 학습(MIL) 프레임워크에 통합함으로써, 간섭 요소로부터 유발되는 오분류를 크게 감소시키고 ILSVRC2013 및 PASCAL VOC 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we consider the problem of leveraging existing fully labeled categories to improve the weakly supervised detection (WSD) of new object categories, which we refer to as mixed supervised detection (MSD). Different from previous MSD methods that directly transfer the pre-trained object detectors from existing categories to new categories, we propose a more reasonable and robust objectness transfer approach for MSD. In our framework, we first learn domain-invariant objectness knowledge from the existing fully labeled categories. The knowledge is modeled based on invariant features that are robust to the distribution discrepancy between the existing categories and new categories; therefore the resulting knowledge would generalize well to new categories and could assist detection models to reject distractors (e.g., object parts) in weakly labeled images of new categories. Under the guidance of learned objectness knowledge, we utilize multiple instance learning (MIL) to model the concepts of both objects and distractors and to further improve the ability of rejecting distractors in weakly labeled images. Our robust objectness transfer approach outperforms the existing MSD methods, and achieves state-of-the-art results on the challenging ILSVRC2013 detection dataset and the PASCAL VOC datasets.

연구 동기 및 목표

• 객체가 함께 나타나는 간섭 요소(예: 객체 부분 또는 맥락적 요소)와 혼동되는 약한 지도 학습 검출(WSD)의 과제를 해결하기 위해.
• 바운딩 박스 레이블이 없는 새로운 객체 카테고리에 대해 기존에 완전히 레이블링된 카테고리의 지식을 활용하여 검출 성능을 향상시키기 위해.
• 강력한 카테고리에서 도메인 불변 객체성 지식을 학습하여 새로운 약한 카테고리로 잘 일반화되도록 하기 위해.
• 오분류를 줄이기 위해 객체성 지식을 강건하게 전이할 수 있는 방법을 개발하기 위해.
• 객체성 인식 다중 예제 학습(MIL)을 통해 객체와 간섭 요소를 명시적으로 모델링함으로써 기존 혼합 지도 학습(МSD) 방법을 초월하기 위해.

제안 방법

• 완전히 레이블링된 강력한 카테고리에서 특징 추출기를 훈련하여 강력한 카테고리와 약한 카테고리 간의 분포 차이를 최소화함으로써 도메인 불변 객체성 지식을 학습한다.
• 딥 네ural 네트워크를 사용해 지역 영역의 완전성과 객체 유사도를 기반으로 점수를 매기는 객체성을 모델링하며, 도메인 이동에 대해 불변인 특징을 사용한다.
• 각 이미지를 영역의 백에 간주하고, 학습된 객체성 지식을 활용해 진짜 객체 영역과 간섭 요소를 구분하는 다중 예제 학습(MIL) 프레임워크를 적용한다.
• 객체성 인식 MIL 모델은 이미지 수준의 분류와 영역 수준의 검출을 동시에 최적화하며, 객체성 점수를 사전으로 사용해 오분류를 억제한다.
• 도메인 불변 객체성 모델은 타겟 카테고리와 비타겟 배경 객체 모두에 대해 훈련되어 있어, 복잡한 환경에서의 간섭 요소에 강건하다.
• 최종 검출기는 분류 및 위치 추정 목표를 조합한 공동 손실을 통해 엔드 투 엔드로 훈련되며, 강건한 객체성 사전 지식에 의해 안내된다.

실험 결과

연구 질문

• RQ1 완전히 레이블링된 카테고리에서 도메인 불변 객체성 지식을 효과적으로 학습하여 새로운 약한 레이블링 카테고리의 검출 성능을 향상시킬 수 있는가?
• RQ2 강력한 카테고리와 약한 카테고리 간의 분포 차이가 존재하는 도메인 간에서 객체성 지식을 어떻게 강건하게 전이할 수 있는가?
• RQ3 객체성 인식 다중 예제 학습은 약한 지도 학습 검출에서 객체 부분 및 맥락적 간섭 요소로 인한 오분류를 줄일 수 있는가?
• RQ4 제안된 방법은 ILSVRC2013 및 PASCAL VOC와 같은 벤치마크 데이터셋에서 기존 혼합 지도 학습 접근법을 초월하는가?
• RQ5 실패 사례는 어떤가? 그리고 이는 시나리오의 복잡성과 다중 객체 동시 출현과 어떻게 관련이 있는가?

주요 결과

• 제안된 방법은 ILSVRC2013 검출 데이터셋에서 최신 기준 성능을 달성하며, 기존 MSD 방법을 능가한다.
• PASCAL VOC 2007 테스트 세트에서, 기준 WSD 모델 대비 '고양이 얼굴'이나 '물 위에 있는 보트'와 같은 객체 부분으로 인한 오분류가 크게 감소한다.
• 도메인 불변 객체성 모델은 표준 객체성 모델 대비 상위 15% 영역에서 더 적은 객체 부분을 생성한다. 이는 배경 및 비타겟 객체 모델링이 더 우수하기 때문이다.
• 이 방법은 강력한 카테고리의 훈련 분포 외부에 있는 새로운 카테고리에 대해서도 뛰어난 일반화 성능을 보인다.
• 실패 사례는 주로 겹치는 객체들(예: '의자'와 '테이블', '사람'과 '자전거') 또는 모호한 객체 경계로 인해 발생하며, 이는 약한 지도 학습 설정에서 본질적인 과제이다.
• 제거 실험 결과, 도메인 불변 객체성 학습이 강건성에 핵심적임을 확인하였으며, 이를 제거할 경우 간섭 요소가 많은 이미지에서 성능이 크게 떨어진다.