[논문 리뷰] Attentional Network for Visual Object Detection

Kota Hara, Ming-Yu Liu외 2명|arXiv (Cornell University)|2017. 02. 06.

Visual Attention and Saliency Detection참고 문헌 24인용 수 21

한 줄 요약

이 논문은 인간의 시각적 주의를 모방하여 객체 제안 영역을 통해 순차적이고 크기가 변하는 구경거를 적응적으로 생성함으로써 검출 정확도를 향상시키는 새로운 딥러닝 아키텍처인 주의 기반 객체 검출(AOD) 네트워크를 제안한다. 지도 학습이 불가능한 주의 태깅이 없는 환경이므로 강화학습을 통해 학습되었으며, CaffeNet 및 VGG16 백본을 사용한 여러 PASCAL VOC 벤치마크에서 기준 모델인 Faster R-CNN 대비 일관된 mAP 향상을 달성하였다.

ABSTRACT

We propose augmenting deep neural networks with an attention mechanism for the visual object detection task. As perceiving a scene, humans have the capability of multiple fixation points, each attended to scene content at different locations and scales. However, such a mechanism is missing in the current state-of-the-art visual object detection methods. Inspired by the human vision system, we propose a novel deep network architecture that imitates this attention mechanism. As detecting objects in an image, the network adaptively places a sequence of glimpses of different shapes at different locations in the image. Evidences of the presence of an object and its location are extracted from these glimpses, which are then fused for estimating the object class and bounding box coordinates. Due to lacks of ground truth annotations of the visual attention mechanism, we train our network using a reinforcement learning algorithm with policy gradients. Experiment results on standard object detection benchmarks show that the proposed network consistently outperforms the baseline networks that does not model the attention mechanism.

연구 동기 및 목표

• 딥 네트워크에 인간과 유사한 다중 고정점 주의를 모델링하여 시각적 객체 검출을 향상시키기 위해.
• 객체 검출 데이터셋에서 시각적 주의에 대한 진정한 타겟 레이블이 부족한 문제를 해결하기 위해.
• 적응적인 구경거(위치, 크기, 종횡비가 변할 수 있음)를 생성할 수 있는 학습 가능한 엔드 투 엔드 아키텍처를 설계하기 위해.
• 일련의 주의 기반 특징 집합이 단일 봉인 기반 모델보다 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• AOD 네트워크는 제안 영역 전역에서 시퀀스 형태로 구경거를 생성하기 위해 스택된 순환 모듈을 사용하며, 각 구경거는 이전 관측 결과에 따라 위치와 형태가 적응적으로 조정된다.
• 영역 관심(ROI) 풀링 레이어는 최종 합성곱 특징 맵 상의 각 구경거 영역에서 고정된 차원의 특징을 추출한다.
• 순환 네트워크(LSTM 유사)는 시간에 따라 구경거 특징을 처리하며, 각 단계에서 완전 연결층을 통해 구경거 위치(x, y, 너비, 높이)를 업데이트한다.
• 최종 결정—객체 클래스 및 바운딩 박스—는 모든 구경거 특징의 원소별 최댓값 풀링 결과에 대해 소프트맥스 분류기 및 회귀 헤드를 적용함으로써 도출된다.
• 진정한 주의 태깅이 존재하지 않기 때문에, 탐지 mAP를 최대화하기 위해 정책 기반 강화학습(REINFORCE)을 사용하여 네트워크를 학습한다.
• 변형 가능한 모양의 구경거를 지원하여 객체 외형 및 스케일 변화에 적응 가능한 영향력 있는 영역을 허용한다.

실험 결과

연구 질문

• RQ1 단일 봉인 기반 모델 대비 적응적이고 순차적인 구경거를 갖춘 딥 네트워크가 객체 검출 성능 향상에 기여하는가?
• RQ2 구경거의 크기와 형태를 다양하게 조절할 수 있는 능력이 복잡한 객체 검출 환경에서 정확도에 어떤 영향을 미치는가?
• RQ3 진정한 주의 태깅이 없는 조건에서 강화학습 프레임워크가 객체 검출을 위한 주의 메커니즘을 효과적으로 학습시킬 수 있는가?
• RQ4 정확도와 추론 효율성의 균형을 고려할 때 최적의 구경거 수(T)는 얼마인가?
• RQ5 다양한 객체 카테고리(크기, 변형, 외형이 다양함)에 대해 주의 메커니즘이 어떻게 성능을 발휘하는가?

주요 결과

• VGG16를 사용한 PASCAL VOC 2007 벤치마크에서 AOD 네트워크는 T=3개의 구경거로 mAP 67.5%를 달성하여 기준 모델인 Fast R-CNN의 66.9%를 초월하였다.
• VOC 2012에서 AOD 모델은 T=3일 때 mAP 66.7%를 기록하여 Fast R-CNN의 65.7%를 상회하였으며, 다양한 데이터셋에서의 일관된 향상이 확인되었다.
• VGG16를 사용하고 T=3개의 구경거일 때 AOD 네트워크는 VOC 2007+2012에서 mAP 71.3%를 달성하여 Fast R-CNN의 70.0%를 뛰어넘었다.
• T=3일 때 AOD 모델은 VOC 2007++2012에서 mAP 69.4%를 기록하여 Fast R-CNN의 68.4%를 초월하였으며, 학습 데이터 설정에 관계없이 뛰어난 안정성을 입증하였다.
• 제거 분석 결과, 고정된 x/y 이동만 허용하는 것과 비교해 임의의 형태의 구경거를 허용함으로써 성능 향상이 뚜렷하게 향상되었으며, 형태 및 스케일 적응성의 중요성을 입증하였다.
• 성능 향상은 모든 객체 카테고리에서 일관되게 나타났으며, 'person', 'bottle', 'sheep'와 같은 도전적인 클래스에서 두드러진 향상이 관찰되었다.