[논문 리뷰] Multi-label Image Recognition by Recurrently Discovering Attentional Regions

Zhouxia Wang, Tianshui Chen외 3명|arXiv (Cornell University)|2017. 11. 08.

Text and Document Classification Technologies참고 문헌 22인용 수 53

한 줄 요약

이 논문은 공간 변환기와 LSTM을 통해 주의 영역을 학습하는 제안 없이 끝-to-end 프레임워크를 제시하여 다중 라벨 이미지 인식을 수행하고 영역 간 의존성을 포착합니다.

ABSTRACT

This paper proposes a novel deep architecture to address multi-label image recognition, a fundamental and practical task towards general visual understanding. Current solutions for this task usually rely on an extra step of extracting hypothesis regions (i.e., region proposals), resulting in redundant computation and sub-optimal performance. In this work, we achieve the interpretable and contextualized multi-label image classification by developing a recurrent memorized-attention module. This module consists of two alternately performed components: i) a spatial transformer layer to locate attentional regions from the convolutional feature maps in a region-proposal-free way and ii) an LSTM (Long-Short Term Memory) sub-network to sequentially predict semantic labeling scores on the located regions while capturing the global dependencies of these regions. The LSTM also output the parameters for computing the spatial transformer. On large-scale benchmarks of multi-label image classification (e.g., MS-COCO and PASCAL VOC 07), our approach demonstrates superior performances over other existing state-of-the-arts in both accuracy and efficiency.

연구 동기 및 목표

• 다중 라벨 이미지 인식에서 가설-영역 파이프라인의 비효율성을 동기 부여하고 해결한다.
• 외부 제안 없이 의미 있는 주의 영역을 자동으로 발견하는 엔드-투-엔드 아키텍처를 개발한다.
• 주목된 영역 간의 장거리 맥락 의존성을 포착하여 레이블링 정확도를 높인다.
• 좀 더 해석 가능한 영역을 위한 공간 변환Localization을 안내하는 제약을 제공한다.
• VOC 2007 및 MS-COCO에서 향상된 효율성과 함께 최신 성능을 보여준다.

제안 방법

• CNN에 공간 변환기 층을 삽입하여 영역 제안 없이 컨볼루션 피처 맵상에서 주의 영역을 위치시킨다.
• LSTM을 사용하여 각 주의 영역에 대한 레이블 스코어를 순차적으로 예측하고 다음 단계의 로컬라이제이션 매개변수를 출력한다.
• K개의 영역에 반복적으로 주의를 기울이고, 카테고리별 최대 풀링으로 영역 점수를 융합하여 최종 레이블 점수를 얻는다.
• 다중 라벨 분류를 위한 카테고리 수준의 유클리드 손실을 적용한다.
• 영역을 다양화하고 크기를 제어하며 대칭을 피하기 위한 세 가지 로컬라이제이션 제약(anchor, scale, positive)을 도입하고 결합된 로컬라이제이션 손실을 사용한다.
• Adam 옵티마이저를 사용하여 L = L_cls + gamma * L_loc의 결합 손실로 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 제안 없이 주의 메커니즘이 다중 라벨 분류를 위한 구별 가능한 영역을 찾을 수 있는가?
• RQ2 공간 변환기가 발견한 주의 영역과 메모리 강화 영역 인코딩이 제안 기반 방법보다 정확도와 효율성을 향상시키는가?
• RQ3 로컬라이제이션 제약이 더 다양하고 적절하게 규모가 조절되며 비대칭인 주의 영역을 만들어 성능을 높이는가?
• RQ4 다중 스케일/다중 뷰 테스트가 VOC 2007 및 MS-COCO의 성능에 어떤 영향을 미치는가?
• RQ5 주의 영역을 객체 제안 대신 사용했을 때 인식 성능에 어떤 차이가 나타나는가?

주요 결과

• 제안 없이 프레이밍된 접근법으로 PASCAL VOC 2007(1-스케일 512 또는 640 및 다중 스케일/다중 크롭) 및 MS-COCO에서 상태-최첨단의 평균 정밀도(mAP)를 달성한다.
• 제안 기반 방법에 비해 정확도와 효율성이 우수하며 추론 속도가 대폭 빠르다(고성능 GPU에서 10-뷰 테스트 약 150–200 ms).
• 주의 영역은 수백 개의 객체 제안 대비 경쟁력 있거나 우수한 mAP를 제공한다(예: 5개의 주의 영역이 약 500개의 제안보다 성능이 우수).
• 로컬라이제이션 제약(anchor, scale, positive)은 VOC 2007 및 MS-COCO에서 유의미하게 mAP를 향상시키며, A+S+P의 결합이 최상의 결과를 낳는다.
• 다중 스케일 및 다중 크롭 융합은 추가적인 이점을 제공하며 스케일 간 패치 특징을 집계할 때 성능이 향상된다.