[논문 리뷰] AttentionNet: Aggregating Weak Directions for Accurate Object Detection

Donggeun Yoo, Sunggyun Park외 3명|arXiv (Cornell University)|2015. 06. 25.

Advanced Neural Network Applications참고 문헌 27인용 수 12

한 줄 요약

AttentionNet는 이미지의 모서리에서 약한 방향 예측(예: 왼쪽, 오른쪽, 위, 아래)을 집계하여 반복적으로 객체 바운딩 박스를 개선하는 새로운 상향식 객체 검출 방법을 제안한다. 검출을 반복적인 분류 작업으로 간주함으로써, 단일 8층 네트워크로 PASCAL VOC 2007/2012에서 65.0% AP의 최신 기준 성능을 달성하며, 별도의 영역 제안 또는 후처리 회귀 모듈이 필요 없게 된다.

ABSTRACT

We present a novel detection method using a deep convolutional neural network (CNN), named AttentionNet. We cast an object detection problem as an iterative classification problem, which is the most suitable form of a CNN. AttentionNet provides quantized weak directions pointing a target object and the ensemble of iterative predictions from AttentionNet converges to an accurate object boundary box. Since AttentionNet is a unified network for object detection, it detects objects without any separated models from the object proposal to the post bounding-box regression. We evaluate AttentionNet by a human detection task and achieve the state-of-the-art performance of 65% (AP) on PASCAL VOC 2007/2012 with an 8-layered architecture only.

연구 동기 및 목표

• CNN 기반 검출에서 초기 제안이 열 劣한 경우에도 정확한 객체 국소화를 달성하고자 한다.
• 이미지에서 바운딩 박스로 직접 회귀하는 데 어려움을 극복하기 위해, 검출을 약한 방향 분류의 시퀀스로 재구성하고자 한다.
• 객체 검출 파이프라인에서 별도의 영역 제안, 분류, 바운딩 박스 회귀 모델이 필요 없도록 하기 위해 노력한다.
• 단일 통합형, 엔드 투 엔드 학습 가능한 네트워크를 사용하여 단일 클래스 객체 검출에서 최신 기준 성능을 달성하고자 한다.

제안 방법

• AttentionNet는 이미지의 왼쪽 상단 및 오른쪽 하단 모서리에서 약한 방향 이동(예: →, ↓, ↘)을 예측하는 단일 깊은 CNN이다. 이는 관심 영역을 반복적으로 자르는 데 사용된다.
• 네트워크는 각 모서리에 대해 여덟 가지 가능한 방향(‘정지’ 또는 ‘비인간’ 포함)을 출력하며, 다음 자르기 단계를 안내한다.
• 검출 과정은 반복적이다: 예측된 방향에 따라 이미지가 자르고, 결과를 다시 네트워크에 입력하여 반복한다. 두 모서리가 모두 ‘정지’를 출력할 때까지 진행된다.
• 두 모서리가 ‘정지’로 수렴할 때 최종 바운딩 박스가 형성되며, 이는 국소화에 대한 높은 신뢰도를 보장한다.
• 이 방법은 딱딱한 결정 기준을 사용한다: 양쪽 모서리가 모두 ‘정지’를 출력하는 박스만 수용되며, 이는 민감도를 낮추고 거짓 긍정을 줄이는 데 기여한다.
• 다중 인스턴스 검출을 위해, 주의 점수 기반 효율적 프루닝을 적용한 슬라이딩 윈도우 방식으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 분류 기반 CNN에서 유도된 반복적이고 약한 방향 예측이, 명시적 회귀나 제안 네트워크 없이도 정확한 객체 국소화를 달성할 수 있는가?
• RQ2 전통적인 하향식 객체 검출 파이프라인과 비교해 볼 때, 상향식 반복 개선 전략은 국소화 정확도와 내성에 있어 어떤가?
• RQ3 단일 통합형 네트워크가 별도의 구성 요소 없이 객체 존재 추정, 국소화 개선, 최종 바운딩 박스 예측을 모두 수행할 수 있는가?
• RQ4 R-CNN와 같은 하향식 검출기와의 조합을 통해, 약한 방향 기반 검출기의 성능을 얼마나 향상시킬 수 있는가?
• RQ5 작은 크기와 낮은 시각적 구분도를 가진 도전적인 객체 클래스에 대해 이 방법은 얼마나 일반화 가능한가?

주요 결과

• AttentionNet는 단일 8층 네트워크만을 사용하여 PASCAL VOC 2007/2012에서 인간 검출에 대해 65.0% 평균 평균 정밀도(AP)를 달성하며, 단일 클래스 검출 분야에서 새로운 최신 기준을 수립했다.
• 이 방법은 높은 신뢰도를 가진 4,863개의 바운딩 박자만 생성하며, R-CNN의 53,624개보다 현저히 적다. 이는 낮은 재현율에도 불구하고 정밀도가 뛰어나다는 것을 시사한다.
• AttentionNet를 R-CNN와 조합하면 성능이 69.8% AP로 향상되며, 상향식과 하향식 검출 전략 간 강력한 보완성을 입증한다.
• '병아리' 클래스와 같은 도전적인 경우, AttentionNet는 VOC 2007에서 45.5% AP, VOC 2012에서 45.0% AP를 기록했으며, 이는 이전 방법보다 VOC 2012에서 9.4% 이상 높은 성능이다.
• 재학습이나 클래스별 튜닝 없이도 비인간 클래스로도 잘 일반화되어, 작고 시각적으로 모호한 객체에 대해 뛰어난 내성성을 보였다.
• AttentionNet의 정밀도-재현율 곡선은 R-CNN보다 더 완만하게 경향을 보이며, 낮은 재현율에서도 안정적인 성능을 유지함을 시사한다. 이는 양성 샘플 마이닝이나 임계값 조정을 통해 향상 가능성을 시사한다.