[논문 리뷰] Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition

Xiao Liu, Jiang Wang외 3명|arXiv (Cornell University)|2016. 05. 20.

Advanced Neural Network Applications참고 문헌 16인용 수 17

한 줄 요약

이 논문은 부분 속성 기술(예: '빨간 날개')을 약한 지도로 사용하여 강화 학습을 통해 다수의 완전 컨volutional 주의 네트워크를 훈련하는 부분 유도 주의 국소화 프레임워크를 제안한다. 새로운 보상 전략을 설계함으로써 모델은 카테고리 전용 지도보다 더 정확하게 의미적이고 공간적으로 구별되는 부분을 국소화할 수 있으며, 경계 상자 레이블이 필요 없이 CUB-200-2011에서 최신 기술 수준의 인식 정확도를 달성한다.

ABSTRACT

A key challenge in fine-grained recognition is how to find and represent discriminative local regions. Recent attention models are capable of learning discriminative region localizers only from category labels with reinforcement learning. However, not utilizing any explicit part information, they are not able to accurately find multiple distinctive regions. In this work, we introduce an attribute-guided attention localization scheme where the local region localizers are learned under the guidance of part attribute descriptions. By designing a novel reward strategy, we are able to learn to locate regions that are spatially and semantically distinctive with reinforcement learning algorithm. The attribute labeling requirement of the scheme is more amenable than the accurate part location annotation required by traditional part-based fine-grained recognition methods. Experimental results on the CUB-200-2011 dataset demonstrate the superiority of the proposed scheme on both fine-grained recognition and attribute recognition.

연구 동기 및 목표

• 카테고리 레이블만으로는 다수의 구별 가능한 부분을 국소화하지 못하는 약한 지도 학습 방법의 한계를 해결하기 위해.
• 카테고리 레이블보다 더 정보가 풍부한 부분 속성 기술을 활용하여 국소화 정확도를 향상시키기 위해.
• 속성 예측에 의해 유도되는 부분 전용 국소화 정책을 학습하는 강화 학습 기반 프레임워크를 개발하기 위해.
• 경계 상자나 부분 위치 레이블과 같은 강한 애너테이션을 요구하지 않고도 최신 기술 수준의 미세한 인식 성능을 달성하기 위해.

제안 방법

• 특정 객체 부분의 속성을 예측하는 데 전담된 다수의 완전 컨볼루션 주의 국소화 네트워크를 훈련한다.
• 다중 레이블 속성 예측 손실과 국소화 신뢰도를 조합한 새로운 보상 함수를 사용하여 강화 학습을 이끌어낸다.
• 딥 Q 네트워크(DQN)를 적용하여 상태가 입력 이미지이고 행동이 주의를 기울일 공간 영역인 국소화 정책을 학습한다.
• 추론 과정에서 국소화된 부분의 특징과 전체 이미지의 특징을 연결하여 분류기로 전달하여 최종 카테고리 예측을 수행한다.
• 높은 속성 예측 손실을 방지하고 불확실성 또는 오류가 높은 영역에 주의를 기울이도록 유도하는 보상 전략을 도입한다.
• 부분 국소화자와 속성 예측기를 공유된 이미지 특징을 통해 공동 최적화하는 다중 작업 학습 설정을 활용한다.

실험 결과

연구 질문

• RQ1 부분 속성 기술이 미세한 인식에서 구별 가능한 객체 부분의 국소화를 향상시키는 데 효과적인 약한 지도 신호로 기능할 수 있는가?
• RQ2 속성 기반 주의 국소화를 사용할 경우 카테고리 전용 지도보다 더 높은 인식 정확도를 달성할 수 있는가?
• RQ3 새로운 보상 함수를 사용한 강화 학습이 의미적으로나 공간적으로 구별되는 다수의 부분을 효과적으로 국소화할 수 있는가?
• RQ4 제안된 방법은 강화된 지도 학습 및 기타 약한 지도 학습 기반 기준 대비 국소화 정확도와 인식 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 CUB-200-2011 데이터셋에서 '경계 상자 없음' 및 '경계 상자 있음' 설정에서 각각 85.4%와 85.5%의 상위-1 정확도를 달성하여 최신 기술 수준의 방법들을 능가한다.
• 네 개의 부분 기반 모델과 속성 특징을 조합하면 85.4%의 정확도를 달성하여 공동 표현 학습의 효과를 입증한다.
• 기존의 약한 지도 학습 방법보다 부분 국소화 정확도가 높다 — 예를 들어, 이전 방법들(예: Liu et al. [5])이 실패한 尾(꼬리) 부분을 성공적으로 식별한다.
• 속성 기술을 지도로 사용함으로써 고비용의 부분 위치 애너테이션의 필요성을 줄일 수 있으며, 카테고리 전용 지도보다 성능 향상을 이룬다.
• 보상 전략의 시각화 결과, 200번의 훈련 반복 후 주의 정책이 정확한 영역(예: 머리)으로 수렴하는 것으로 확인되어 효과적인 학습이 이루어졌음을 확인한다.
• R-CNN를 통한 기하학적 정규화를 통한 공동 훈련은 정확도를 크게 향상시키지 못했으며(85.1% → 85.2%) 이는 이 데이터셋에서 자세 변동성이 기하학적 모델링의 성능을 제한함을 시사한다.