[논문 리뷰] Exploiting Web Images for Weakly Supervised Object Detection

Qingyi Tao, Hao Yang외 1명|arXiv (Cornell University)|2017. 07. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 웹에서 수집한 다양한 이미지 자료를 활용하여 약한 감독 객체 검출(WSD) 성능을 햖을 수 있는 커리큘럼 학습 프레임워크를 제안한다. 고도로 의미적이고 분포적으로 관련성이 높은 웹 이미지를 활용함으로써, 기준 모델인 WSDDN 대비 PASCAL VOC2007에서 mAP를 2.9% 향상시키고, VOC2012에서는 3.8% 향상시킨다. 대규모 속성 강화 웹 데이터셋을 구축하고, 관련성 기반 필터링을 통한 쉬운 것에서 어려운 것으로의 학습 순서를 적용함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, the performance of object detection has advanced significantly with the evolving deep convolutional neural networks. However, the state-of-the-art object detection methods still rely on accurate bounding box annotations that require extensive human labelling. Object detection without bounding box annotations, i.e, weakly supervised detection methods, are still lagging far behind. As weakly supervised detection only uses image level labels and does not require the ground truth of bounding box location and label of each object in an image, it is generally very difficult to distill knowledge of the actual appearances of objects. Inspired by curriculum learning, this paper proposes an easy-to-hard knowledge transfer scheme that incorporates easy web images to provide prior knowledge of object appearance as a good starting point. While exploiting large-scale free web imagery, we introduce a sophisticated labour free method to construct a web dataset with good diversity in object appearance. After that, semantic relevance and distribution relevance are introduced and utilized in the proposed curriculum training scheme. Our end-to-end learning with the constructed web data achieves remarkable improvement across most object classes especially for the classes that are often considered hard in other works.

연구 동기 및 목표

• 이미지 레벨 레이블만을 사용하고 바운딩 박스 애너테이션 없이 작동하는 효과적인 약한 감독 객체 검출 방법의 부족을 해결하기 위해.
• 검출이 어려운 객체에 대해 강력한 외관 사전 지식을 제공할 수 있는 대규모, 다양하고 관련성이 높은 웹 이미지 데이터셋을 구축하기 위해.
• 쉬운 청소년 웹 이미지에서 복잡하고 혼잡한 타겟 이미지로 지식을 체계적이고 계층적으로 전이할 수 있는 커리큘럼 학습 체계를 설계하기 위해.
• 의미적 및 분포적 관련성 기반 필터링을 통합하여, 소형 또는 부분적으로 가려진 객체에 대한 검출 성능을 향상시키기 위해.

제안 방법

• 확장 가능한 노동 비용이 없는 데이터 수집을 위해 텍스트 쿼리와 일반적인 속성 테이블을 조합하는 다중 속성 웹 데이터 생성 기법을 사용하여 내부 카테고리 다양성을 향상시킨다.
• 사전 훈련된 분류기로 의미적 관련성을 계산하여 타겟 객체 카테고리와 관련성이 높은 웹 이미지를 필터링한다.
• 특징 공간 내 k-최근접 이웃(kNN)을 통해 분포 관련성을 측정하여, 웹 이미지가 타겟 데이터셋 이미지와 같은 다양체(manifold)에 위치하도록 보장한다.
• 쉬운 웹 이미지(더 쉬움)를 먼저 훈련하고, 이후에 어려운 타겟 이미지(더 어려움)를 훈련하는 쉬운 것에서 어려운 것으로의 커리큘럼 학습 프레임워크를 제안하며, 계층적인 커리큘럼 구조를 갖춘다.
• 성능 저하를 막기 위해 관련성 필터링(의미적 및 분포적)을 훈련 과정에 통합한다.
• 기존 WSD 기반 모델과 호환되며, WSDDN에 플러그인 방식으로 적용되어 바운딩 박스 애너테이션 없이 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 배경이 깔끔하고 구성이 단순한 웹 이미지가 약한 감독 객체 검출을 위한 효과적인 외관 사전 지식으로 기능할 수 있는가?
• RQ2 인간 애너테이션 없이 대규모, 다양하고 관련성이 높은 웹 이미지 데이터셋을 어떻게 구성할 수 있는가?
• RQ3 의미적 관련성과 분포 관련성 중 어느 것이 WSD 성능 향상에 더 기여하는가?
• RQ4 쉬운 것에서 어려운 것으로의 커리큘럼 학습 체계가 웹 이미지에서 복잡한 타겟 이미지로 지식을 효과적으로 전이할 수 있는가?

주요 결과

• 다양한 속성 확장을 적용하고 관련성 필터링을 통한 제안된 웹 데이터셋은 검출 성능을 크게 향상시키며, PASCAL VOC2007에서 WSDDN 대비 mAP가 2.9% 향상되었다.
• 의미적 관련성과 쉬운 것에서 어려운 것으로의 학습을 조합한 WebRelETH 버전은 VOC2007에서 최고의 mAP 36.8%를 기록하여 기준 WSDDN 대비 2.9% 포인트 향상되었다.
• VOC2012에서는 3.8%의 mAP 향상이 이루어져 데이터셋 간 강력한 일반화 능력을 입증했다.
• 단순히 웹 이미지와 타겟 이미지를 결합하는 것(WebRel)은 기준 모델보다 성능이 악화되었으며, 이는 비체계적인 데이터 융합이 학습에 악영향을 준다는 것을 시사한다.
• 분포 관련성(kNN 기반)은 의미적 관련성보다 略적으로 낮은 성능을 보였으며, 이는 의미적 일치가 특징 분포의 미세한 매칭보다 더 중요하다는 것을 시사한다.
• 시각적 비교 결과, 제안된 방법은 바운딩 박스 예측을 정밀하게 다듬고, 이전에 놓친 객체, 특히 혼잡한 환경에서의 객체를 성공적으로 탐지함을 보였다.