[논문 리뷰] Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification.

Yuxin Peng, Xiangteng He외 1명|arXiv (Cornell University)|2017. 04. 06.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 객체 또는 부위 애너테이션을 요구하지 않고 분류 가능한 부위를 국소화할 수 있도록 객체 수준 및 부위 수준의 주의를 동시에 학습하는 약한 지도 학습 기반의 세분화된 이미지 분류 방법인 OPADDL을 제안한다. 객체와 부위 간의 공간 제약을 통합함으로써 국소화 정확도를 향상시키고, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Fine-grained image classification is to recognize hundreds of subcategories belonging to the same basic-level category, such as 200 subcategories belonging to bird, and highly challenging due to large variance in same subcategory and small variance among different subcategories. Existing methods generally find where the object or its parts are and then discriminate which subcategory the image belongs to. However, they mainly have two limitations: (1) Relying on object or parts annotations which are heavily labor consuming. (2) Ignoring the spatial relationship between the object and its parts as well as among these parts, both of which are significantly helpful for finding discriminative parts. Therefore, this paper proposes the object-part attention driven discriminative localization (OPADDL) approach for weakly supervised fine-grained image classification, and the main novelties are: (1) Object-part attention model integrates two level attentions: object-level attention localizes objects of images, and part-level attention selects discriminative parts of object. Both are jointly employed to learn multi-view and multi-scale features to enhance their mutual promotion. (2) Object-part spatial model combines two spatial constraints: object spatial constraint ensures selected parts highly representative, and part spatial constraint eliminates redundancy and enhances discrimination of selected parts. Both are jointly employed to exploit the subtle and local differences for distinguishing the subcategories. Importantly, neither objects nor parts annotations are used, which avoids the heavy labor consuming of labeling. Comparing with more than 10 state-of-the-art methods on 3 widely used datasets, our OPADDL approach achieves the best performance.

연구 동기 및 목표

• 서브카테고리 간 외관이 미세하게 다름으로써 정밀한 국소화가 필요한 분류 가능한 부위를 특정하는 세분화된 이미지 분류의 과제를 해결한다.
• 학습에 비용이 많이 드는 객체 또는 부위 애너테이션에 의존하는 기존 방법의 한계를 극복한다.
• 객체와 그 부위 간의 공간 관계를 모델링하여 분류 성능를 향상시키고, 서브카테고리 분류를 위한 특징 표현을 강화한다.
• 경계 상자나 부위 수준의 애너테이션을 필요로 하지 않는 약한 지도 학습 기반의 접근법을 개발한다.
• 다중 스케일, 다중 뷰 특징 학습을 위해 객체 및 부위 주의 기반의 최적화를 공동으로 수행한다.

제안 방법

• 객체-부위 주의 모델을 도입하여 이중 수준의 주의를 적용한다: 객체 수준 주의는 주요 객체를 국소화하고, 부위 수준 주의는 객체 내 분류 가능한 부위를 식별한다.
• 객체 및 부위 주의를 공동으로 최적화하여 다중 스케일 및 다중 뷰에서 특징 간 상호 강화를 촉진한다.
• 선택된 부위가 객체의 서브카테고리에 대해 높이 대표성을 갖도록 하는 객체 공간 제약을 설계한다.
• 부위 간 상대적인 공간 구성 요건을 모델링하여 부재를 줄이고 선택된 부위의 독창성을 향상시키기 위해 부위 공간 제약을 구현한다.
• 두 가지 공간 제약을 통합하여 세분화된 카테고리 간 구분에 핵심적인 미세한 국소적 차이를 활용한다.
• 경계 상자나 부위 애너테이션을 필요로 하지 않고, 이미지 수준의 레이블만을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 부위 수준의 애너테이션이 없이도 주의 기반 메커니즘이 세분화된 이미지에서 분류 가능한 부위를 효과적으로 국소화할 수 있는가?
• RQ2 객체와 그 부위 간의 공간 관계를 모델링하면 세분화된 인식에서 분류 성능가 향상되는가?
• RQ3 공동 최적화된 객체 수준 및 부위 수준의 주의가 약한 지도 학습 환경에서 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ4 공간 제약의 통합이 표준 주의 메커니즘에 비해 더 강력하고 분류 가능한 국소화를 이끌어내는가?
• RQ5 제안된 방법은 어떤 부위 또는 객체 애너테이션도 필요로 하지 않고 표준 세분화된 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• OPADDL는 널리 사용되는 세 가지 세분화된 이미지 분류 데이터셋에서 10개 이상의 최신 기술 수준(SOTA) 방법들 중에서 최고의 성능을 기록한다.
• 제안된 객체-부위 주의 메커니즘은 어떤 부위 수준 또는 객체 수준의 애너테이션도 필요로 하지 않고 분류 가능한 부위를 효과적으로 국소화한다.
• 객체 및 부위 공간 제약의 통합은 대표성 있고 중복이 없는 부위에 초점을 맞추어 국소화 정확도를 크게 향상시킨다.
• 이중 주의를 통한 다중 스케일 및 다중 뷰 특징의 공동 최적화는 더 강력한 분류 가능한 표현을 이끈다.
• 약한 지도 학습 조건에서도 이 방법은 세분화된 분류 작업에서 뛰어난 일반화 능력과 강건성을 보여준다.
• 제거 실험을 통해 객체 수준 및 부위 수준의 주의 구성 요소뿐 아니라 공간 제약 요소도 최종 성능에 크게 기여한다는 것이 확인되었다.