[논문 리뷰] DeepBox: Learning Objectness with Convolutional Networks

Weicheng Kuo, Bharath Hariharan외 1명|arXiv (Cornell University)|2015. 05. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 31

한 줄 요약

DeepBox는 Edge Boxes와 같은 바텀업 방법에서 유도된 객체 제안을 학습된 의미적 단서를 사용해 재순서 정렬하는 경량의 사층 컨볼루션 신경망(CNN)을 제안한다. 이는 객체성 순위를 크게 향상시키며, 2000개의 제안을 사용하는 기준 방법과 동일한 성능을 내는 데 500개의 제안만으로도 달성한다. 또한 이미지당 260ms 내외로 빠른 속도로 작동하여, 새로운 카테고리로의 일반화 능력과 최신 기술 수준의 효율성을 입증한다.

ABSTRACT

Existing object proposal approaches use primarily bottom-up cues to rank proposals, while we believe that objectness is in fact a high level construct. We argue for a data-driven, semantic approach for ranking object proposals. Our framework, which we call DeepBox, uses convolutional neural networks (CNNs) to rerank proposals from a bottom-up method. We use a novel four-layer CNN architecture that is as good as much larger networks on the task of evaluating objectness while being much faster. We show that DeepBox significantly improves over the bottom-up ranking, achieving the same recall with 500 proposals as achieved by bottom-up methods with 2000. This improvement generalizes to categories the CNN has never seen before and leads to a 4.5-point gain in detection mAP. Our implementation achieves this performance while running at 260 ms per image.

연구 동기 및 목표

• 저수준의 단서(예: 주목성, 군집화)에만 의존하는 바텀업 객체 제안 방법의 한계를 해결하기 위해, 객체의 고수준 의미적 구조를 포착하지 못하는 문제를 해결한다.
• 특정 객체 카테고리에 종속되지 않고, 딥러닝을 활용해 데이터 기반의 의미적 객체성 개념을 효과적으로 학습할 수 있는지 탐색한다.
• 대규모 재학습이나 복잡한 추론 파이프라인 없이도 제안 순서를 향상시키는 빠르고 경량의 CNN 아키텍처를 개발한다.
• 학습된 객체성이 새로운 카테고리로 일반화되며, 후속 검출 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 사전에 바텀업 방법(예: Edge Boxes)으로 생성된 객체 제안을 입력으로 사용하는 사층 CNN을 훈련하여 제안을 재순서 정렬한다.
• 대규모 이미지 데이터셋에 객체 애너테이션이 포함된 데이터로 엔드 투 엔드로 훈련되며, 실제 객체를 포함한 제안에 높은 점수를 할당하도록 학습된다.
• SPP와 Fast R-CNN에서 영감을 얻은 아키텍처로, 최소한의 계산 오버헤드로 전체 이미지에 대해 효율적인 추론을 가능하게 한다.
• 다른 제안 분포에 적응하기 위해 각 제안 방법(예: Edge Boxes, Selective Search)에 맞게 미세조정되어 일반화 능력이 향상된다.
• Fast DeepBox는 다중스케일 추론과 단일스케일 추론을 활용해 이미지당 런타임을 0.26초로 줄여 DeepMask 대비 70배의 속도 향상을 달성한다.
• 모듈러한 프레임워크로, 어떤 바텀업 제안 방법에도 적용 가능하며 플러그인 방식의 재순서 정렬 모듈로 기능한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 저수준의 주목성 및 군집화 단서를 넘어서, 일반화 가능한 의미적 객체성 개념을 학습할 수 있는가?
• RQ2 더 큰 네트워크에 비해 빠르고 정확도를 유지하면서도 경량 CNN 아키텍처가 객체성 순서 정렬에서 뛰어난 성능을 낼 수 있는가?
• RQ3 특정 제안 방법(예: Edge Boxes)에서 훈련된 모델이 다른 제안 방법(예: Selective Search, MCG)의 제안 순서를 향상시킬 수 있는가?
• RQ4 개선된 제안 순서 정렬이 실제로 더 적은 제안 수로도 객체 검출 성능 향상으로 이어지는가? 특히, 제안 수가 적을 경우에 대해 어떻게 되는가?
• RQ5 학습 중에 본 적이 없는 카테고리의 객체도 학습된 객체성 모델이 탐지할 수 있는가?

주요 결과

• VOC 2007에서 Edge Boxes 대비 DeepBox는 상대적 AUC를 26% 향상시키며 의미적 단서 학습의 효과를 입증한다.
• COCO에서 500개의 제안만으로도 Fast R-CNN 검출에서 mAP가 4.5포인트 향상되어 37.8%를 기록하며, 2000개의 Edge Box 제안(35.9%)을 초월한다.
• 학습 중에 본 적이 없는 카테고리로의 일반화 성능이 뛰어나며, COCO에서 해당 카테고리의 리콜률이 16% 향상된다.
• Fast DeepBox는 다중스케일 기반으로 이미지당 0.26초 내외로 작동하며, DeepMask 대비 70배 빠른 속도를 기록하면서도 경쟁 수준의 AUC(0.40, IoU=0.5)를 유지한다.
• 각 제안 방법(예: Selective Search, MCG)에 대해 DeepBox를 미세조정함으로써 성능 저하를 제거하고, 모든 방법에서 일관된 성능 향상을 달성한다.
• 상위 2000개의 제안만 재순서 정렬해도 AUC가 0.005~0.01 감소할 뿐이지 성능 저하가 거의 없어 실시간 추론이 가능하다.