[논문 리뷰] LSDA: Large Scale Detection Through Adaptation

Judy Hoffman, Sergio Guadarrama외 6명|arXiv (Cornell University)|2014. 07. 18.

Advanced Neural Network Applications참고 문헌 27인용 수 196

한 줄 요약

LSDA는 새로운 카테고리의 바운딩 박스 애너테이션을 필요로 하지 않고 ImageNet으로 훈련된 이미지 분류기들을 객체 검출기로 변환하는 도메인 적응 방법을 제안한다. 소량의 애너테이션된 카테고리들을 사용해 분류에서 검출로의 변환을 학습함으로써 LSDA는 대규모 검출을 가능하게 하며, 기준 분류기 대비 상대 mAP 향상률 50%를 달성하고 이미지 수준 레이블만으로도 7,604개 카테고리의 검출기를 지원한다.

ABSTRACT

A major challenge in scaling object detection is the difficulty of obtaining labeled images for large numbers of categories. Recently, deep convolutional neural networks (CNNs) have emerged as clear winners on object classification benchmarks, in part due to training with 1.2M+ labeled classification images. Unfortunately, only a small fraction of those labels are available for the detection task. It is much cheaper and easier to collect large quantities of image-level labels from search engines than it is to collect detection data and label it with precise bounding boxes. In this paper, we propose Large Scale Detection through Adaptation (LSDA), an algorithm which learns the difference between the two tasks and transfers this knowledge to classifiers for categories without bounding box annotated data, turning them into detectors. Our method has the potential to enable detection for the tens of thousands of categories that lack bounding box annotations, yet have plenty of classification data. Evaluation on the ImageNet LSVRC-2013 detection challenge demonstrates the efficacy of our approach. This algorithm enables us to produce a >7.6K detector by using available classification data from leaf nodes in the ImageNet tree. We additionally demonstrate how to modify our architecture to produce a fast detector (running at 2fps for the 7.6K detector). Models and software are available at

연구 동기 및 목표

• 제한된 바운딩 박스 애너테이션으로 수만 개의 카테고리에 걸쳐 객체 검출을 확장하는 데 도전하는 것.
• 분류 및 검출 레이블이 모두 있는 소량의 카테고리 세트를 사용해 이미지 분류에서 객체 검출로의 일반적인 변환을 학습하는 것.
• 바운딩 박스 애너테이션이 전혀 없는 카테고리에 대해 사전 훈련된 분류기를 검출기로 변환함으로써 검출을 가능하게 하는 것.
• 비싼 바운딩 박스 애너테이션에 대한 의존도를 최소화함으로써 대규모 검출의 애너테이션 비용을 줄이는 것.
• 대부분의 클래스에 대해 분류 데이터만을 사용해 고성능의 대규모 검출기(7,604개 카테고리)를 구축할 수 있음을 보여주는 것.

제안 방법

• 검출을 도메인 적응 문제로 정식화: 소스 도메인은 이미지 수준 레이블 데이터(분류), 타겟 도메인은 바운딩 박스 레이블 데이터(검출).
• 강력한 특징 표현을 학습하기 위해 분류 데이터 기반으로 딥 컨volution 네트워크를 훈련.
• 분류 및 검출 레이블이 모두 있는 카테고리의 소량 세트를 사용해 분류 특징에서 검출 특징으로의 변환 네트워크를 학습.
• 바운딩 박스 애너테이션이 전혀 없는 카테고리에 대해 사전 훈련된 분류기를 검출기로 변환하기 위해 학습된 변환을 적용.
• 소량의 애너테이션된 카테고리에서 적응된 특징과 검출 손실을 사용해 검출 헤드를 미세조정.
• 빠른 영역 제안 네트워크와 공간 피ラ미드 풀링을 통합해 추론 속도를 최적화하여 이미지당 추론 시간을 0.5초로 감소.

실험 결과

연구 질문

• RQ1 소량의 이미지 수준 및 바운딩 박스 애너테이션이 모두 있는 카테고리 세트만을 사용해 딥 신경망을 이미지 분류에서 객체 검출로 적응시킬 수 있는가?
• RQ2 학습된 적응이 바운딩 박스 애너테이션이 전혀 없는 카테고리에 대해 이미지 수준 레이블에만 의존해 얼마나 일반화되는가?
• RQ3 보류된 카테고리에 대해 적응된 검출기의 성능이 직접 분류기 특징을 검출 프레임워크에 사용한 경우와 비교해 어떻게 되는가?
• RQ4 이 적응 방법이 수만 개의 카테고리로 확장되어, 최소한의 애너테이션 노력으로 대규모 검출을 가능하게 할 수 있는가?
• RQ5 대규모 검출기 적용 시, 검출 정확도와 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• LSDA는 보류된 카테고리에서 기준 검출 프레임워크에 분류기 특징을 직접 사용한 경우에 비해 평균 평균 정확도(mAP)에서 50% 상대적 향상을 달성한다.
• 에러 분석 결과, 보류된 카테고리에서 국소화 오류와 배경 혼동으로 인한 오분류가 크게 감소한 것으로 나타났다.
• 이 방법을 통해 7,604개 카테고리의 객체 검출기를 구축할 수 있었으며, 이 중 7,404개 카테고리는 바운딩 박스 애너테이션이 전혀 없이 이미지 수준 레이블만으로 훈련되었다.
• 모델은 전체 7,604개 카테고리 검출기에서 2fps의 검출 속도를 달성했으며, 빠른 영역 제안과 공간 피라미드 풀링을 적용해 0.5fps로 가속화할 수 있었다.
• 시각화 결과, 검출 데이터가 없는 카테고리에서 LSDA는 객체를 정확히 국소화하는 반면, 기준 분류기는 국소화 능력 부족과 배경 민감도로 인해 실패하는 것으로 나타났다.
• 유사한 시각적 특징을 가진 카테고리 간에 적응 기술이 잘 일반화되지만, 상위 오분류의 대부분은 시각적으로 유사한 클래스들 간의 혼동에서 기인한다(예: 오토바이가 자전거로 잘못 분류됨).