[논문 리뷰] Transferring Common-Sense Knowledge for Object Detection.

Krishna Kumar Singh, Santosh Divvala외 2명|arXiv (Cornell University)|2018. 04. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 4

한 줄 요약

이 논문은 MS COCO에서 기존의 전이학습 방법보다 뚜렷한 성능 향상을 이룬다. 소스 카테고리의 바운딩 박스 주석을 가진 공통 지식을, 바운딩 박스 주석이 없는 타겟 카테고리로 전이하여 확장 가능한 객체 검출을 향상시키는 방법을 제안한다. 인간의 레이블링 없이 지식 기반에서 유래한 영역 수준의 유사성과 풍부한 속성 및 공간 기반 공통 지식 신호를 활용함으로써, 이는 지식 기반에서 유래한 영역 수준의 유사성과 풍부한 속성 및 공간 기반 공통 지식 신호를 활용함으로써, 기존의 전이학습 방법보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

We propose the idea of transferring common-sense knowledge from source categories to target categories for scalable object detection. In our setting, the training data for the source categories have bounding box annotations, while those for the target categories only have image-level annotations. Current state-of-the-art approaches focus on image-level visual or semantic similarity to adapt a detector trained on the source categories to the new target categories. In contrast, our key idea is to (i) use similarity not at image-level, but rather at region-level, as well as (ii) leverage richer common-sense (based on attribute, spatial, etc.,) to guide the algorithm towards learning the correct detections. We acquire such common-sense cues automatically from readily-available knowledge bases without any extra human effort. On the challenging MS COCO dataset, we find that using common-sense knowledge substantially improves detection performance over existing transfer-learning baselines.

연구 동기 및 목표

• 이미지 수준 주석만 있는 타겟 카테고리에서 객체 검출기 학습 문제를 해결하기 위해.
• 이미지 수준의 시각적 또는 의미적 유사성에서 벗어나 영역 수준의 유사성으로 전이 학습을 향상시키기 위해.
• 외부 지식 기반에서 자동으로 풍부한 공통 지식 신호—예: 속성과 공간 관계—를 추출하여 검출을 안내하기 위해.
• 신규 카테고리에 대해 바운딩 박스 주석이 부족한 저자원 환경에서 확장 가능한 객체 검출을 가능하게 하기 위해.
• 공통 지식 전이가 기존의 이미지 수준 유사성 기반 전이 방법보다 뚜렷하게 뛰어나다는 것을 입증하기 위해.

제안 방법

• 소스 및 타겟 카테고리 간의 특징을 정렬하기 위해 이미지 수준의 유사성 대신 영역 수준의 유사성을 사용한다.
• ConceptNet이나 Visual Genome와 같은 쉽게 확보할 수 있는 지식 기반에서 공통 지식 신호—예: 속성 및 공간 관계—를 자동으로 추출한다.
• 이러한 신호는 바운딩 박스 주석이 없는 타겟 카테고리의 특징 학습 및 검출 예측을 안내하는 데 사용된다.
• 학습 중에 검출 헤드에 공통 지식을 통합하여 국소화 정확도를 향상시킨다.
• 공통 지식 인식 주의 메커니즘을 사용하여 공통 지식과의 일치도에 따라 영역 제안을 가중치를 부여한다.
• 프레임워크는 바운딩 박스가 있는 소스 카테고리에서 엔드 투 엔드로 학습되며, 타겟 카테고리의 검출은 오직 이미지 수준의 레이블만을 사용하여 추론된다.

실험 결과

연구 질문

• RQ1 공통 지식과의 영역 수준 유사성은 이미지 수준의 유사성 이상으로 객체 검출 전이 성능을 향상시킬 수 있는가?
• RQ2 자동으로 확보된 공통 지식은 저자원 타겟 카테고리의 검출 성능 향상에 얼마나 효과적인가?
• RQ3 지식 기반에서 유래한 속성 및 공간 관계를 통합하면, 시각적 또는 의미적 특징에만 의존하는 것보다 국소화 성능이 향상되는가?
• RQ4 기준 데이터셋에서 제안된 방법은 최신 전이 학습 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 지식 기반에서 유래한 신호는 객체 검출에서 비용이 많이 드는 바운딩 박스 주석의 필요성을 줄일 수 있는가?

주요 결과

• 제안된 방법은 MS COCO 데이터셋에서 기존의 전이학습 기반 방법보다 뚜렷한 성능 향상을 달성한다.
• 공통 지식과의 영역 수준 유사성을 활용하면, 이미지 수준 주석만 있는 타겟 카테고리에 대해 더 정확한 검출 예측이 가능하다.
• 속성 및 공간 공통 지식 신호의 통합은 시각적 또는 의미적 유사성에만 의존하는 방법보다 국소화 성능을 크게 향상시킨다.
• 타겟 카테고리에 추가로 인간이 주석을 달지 않은 상황에서도, 제안된 방법은 최신 기술보다 뛰어난 성능을 보인다.
• 외부 지식 기반에서 자동으로 확보된 공통 지식은 수동 작업이나 추가 주석 없이도 검출 성능 향상에 기여한다.
• 결과는 공통 지식 전이가 소수 샘플 객체 검출에 대해 확장 가능하고 효과적인 솔루션임을 입증한다.