[논문 리뷰] Action-Driven Object Detection with Top-Down Visual Attentions

Donggeun Yoo, Sunggyun Park외 3명|arXiv (Cornell University)|2016. 12. 20.

Advanced Neural Network Applications참고 문헌 43인용 수 5

한 줄 요약

이 논문은 시각적 주의 모델인 AttentionNet을 사용하여 순차적인 동작(예: '왼쪽으로 이동', '아래로 이동')을 통해 반복적으로 객체 바운딩 박스를 정밀하게 조정하는 행동 기반의 상향식 객체 검출 방법을 제안한다. 이는 하향식 제안 없이 작동하며, PASCAL VOC 2007 및 ILSVRC CLS-LOC에서 최신 기준 성능을 달성한다. IoU=0.7일 때 Faster R-CNN보다 +7.1% mAP를 기록하여 맥락 인식 기반의 행동 기반 정밀 조정을 통해 우수한 국소화 정확도를 입증한다.

ABSTRACT

A dominant paradigm for deep learning based object detection relies on a "bottom-up" approach using "passive" scoring of class agnostic proposals. These approaches are efficient but lack of holistic analysis of scene-level context. In this paper, we present an "action-driven" detection mechanism using our "top-down" visual attention model. We localize an object by taking sequential actions that the attention model provides. The attention model conditioned with an image region provides required actions to get closer toward a target object. An action at each time step is weak itself but an ensemble of the sequential actions makes a bounding-box accurately converge to a target object boundary. This attention model we call AttentionNet is composed of a convolutional neural network. During our whole detection procedure, we only utilize the actions from a single AttentionNet without any modules for object proposals nor post bounding-box regression. We evaluate our top-down detection mechanism over the PASCAL VOC series and ILSVRC CLS-LOC dataset, and achieve state-of-the-art performances compared to the major bottom-up detection methods. In particular, our detection mechanism shows a strong advantage in elaborate localization by outperforming Faster R-CNN with a margin of +7.1% over PASCAL VOC 2007 when we increase the IoU threshold for positive detection to 0.7.

연구 동기 및 목표

• 클래스에 관계없이 제안하는 전통적인 하향식 객체 검출 방법의 한계를 극복하기 위해.
• 고수준의 추론과 시각적 맥락을 활용해 객체 위치를 능동적으로 탐색하는 상향식 검출 메커니즘을 개발하기 위해.
• 영역 제안 네트워크나 바운딩 박스 회귀 모듈을 사용하지 않고 정확한 객체 국소화를 달성하기 위해.
• 엄격한 IoU 임계값에서 성능을 평가하여 국소화 정확도가 가장 중요한 상황에서의 성능을 평가하기 위해.
• 단일 통합 주의 모델이 종료에서 종료까지 검출, 국소화 및 정밀 조정을 수행할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 객체를 시각적 주의에서 유래한 CNN 기반 모델에 기반한 순차적 동작(예: 위/아래/왼쪽/오른쪽으로 이동)을 적용하여 바운딩 박스를 반복적으로 조정함으로써 국소화하는 상향식 탐색 전략을 사용한다.
• AttentionNet 모델은 이미지 영역을 입력으로 받아 현재 바운딩 박스의 왼쪽 위 및 오른쪽 아래 모서리에 대한 동작 쌍을 출력한다.
• 각 동작는 개별적으로 약하지만, 순차적으로 조합되어 반복적인 자르기 및 주의 유도 탐색을 통해 바운딩 박스를 정밀하게 조정한다.
• 전체 검출 파이프라인은 단일 AttentionNet 모델에 의해 구동되며, 영역 제안 네트워크나 후처리 회귀 모듈이 필요 없다.
• 추가적인 검출 헤드나 회귀 헤드 없이, 단지 주의 모델의 동작 출력만을 사용하여 종료에서 종료까지 검출를 수행한다.
• 정밀 조정 단계는 추가적인 후처리 단계로, 국소화 정확도를 더욱 향상시키기 위해 도입되었으며, 전통적인 바운딩 박스 회귀 방식을 모방한다.

실험 결과

연구 질문

• RQ1 엄격한 IoU 임계값에서 국소화 정확도 측면에서 하향식 기반 최신 기술보다 상향식 행동 기반 접근이 뛰어나게 성능을 내는가?
• RQ2 단일 시각적 주의 모델이 표준 검출 파이프라인의 여러 구성 요소(예: 영역 제안, 분류기, 회귀기)를 얼마나 효과적으로 대체할 수 있는가?
• RQ3 상향식 탐색을 통해 시나리오 수준의 맥락을 통합할 경우, 하향식 방법에 비해 검출의 강건성이 어떻게 향상되는가?
• RQ4 시간이 지남에 따라 약한 동작의 조합이 개별 동작나 전통적인 회귀 기반 정밀 조정보다 더 강력한 국소화 성능을 내는가?
• RQ5 모델 앙상블 없이도 단일 통합 주의 모델이 ILSVRC CLS-LOC와 같은 대규모 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• IoU 임계값이 0.7인 PASCAL VOC 2007에서 제안된 AttentionNet 방법은 52.3% mAP를 기록하여, Faster R-CNN보다 +7.1% mAP를 뛰어넘었다.
• IoU=0.5에서 IoU=0.7로 전환했을 때 AttentionNet의 성능 저하율은 뿐만 아니라 -17.6%로, Faster R-CNN의 -23.9%보다 훨씬 낮아, 국소화 정확도의 강건성을 잘 보여준다.
• ILSVRC CLS-LOC 데이터셋에서 AttentionNet은 Top-5 국소화 오차 0.1473을 기록하여, 2015년 우승자인 Faster R-CNN(ResNet-152)를 제외한 모든 이전 하향식 방법을 능가했다.
• 비록 2015년 우승자가 더 낮은 오차(0.0902)를 기록했지만, 이는 주로 뛰어난 분류 성능(상위 5개 분류 오차: 0.0357) 덕분이었고, AttentionNet의 분류 오차는 0.0792로, 더 단순한 아키텍처임에도 불구하고 강력한 국소화 능력을 보였다.
• 모델 앙상블 없이도 영역 제안이나 바운딩 박스 회귀 없이 단일 AttentionNet 모델만으로 최신 기술 성능을 달성했다.
• 제거 분석 결과, 반복적인 동작 시퀀스가 정확한 국소화에 핵심적인 역할을 하며, 높은 IoU 임계값에서의 성능 저하율이 기준 방법보다 뚜렷이 낮다는 점을 확인했다.