[논문 리뷰] Fine-grained Visual Categorization using PAIRS: Pose and Appearance Integration for Recognizing Subcategories.

Pei Guo, Ryan Farrell|arXiv (Cornell University)|2018. 01. 27.

Advanced Neural Network Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 예측된 관절점 쌍을 사용하여 자세에 맞춰 정렬된 이미지 패치를 추출함으로써 안정적인 외관 특징 학습과 명시적인 부분 수준의 주의를 가능하게 하는 세분화된 시각 분류 방법인 PAIRS를 제안한다. 패치별 분류 네트워크와 집계 네트워크를 결합함으로써 PAIRS는 CUB-200-2011에서 89.2%의 정확도를 달성하여 자세와 외관 특징을 효과적으로 통합함으로써 새로운 최고 성능을 기록한다.

ABSTRACT

In Fine-grained Visual Categorization (FGVC), the differences between similar categories are often highly localized to a small number of object parts, and significant pose variation therefore constitutes a great challenge for identification. To address this, we propose extracting image patches using pairs of predicted keypoint locations as anchor points. The benefits of this approach are two-fold: (1) it achieves explicit top-down visual attention on object parts, and (2) the extracted patches are pose-aligned and thus contain stable appearance features. We employ the popular Stacked Hourglass Network to predict keypoint locations, reporting state-of-the-art keypoint localization results on the challenging CUB-200-2011 dataset. Anchored by these predicted keypoints, an overcomplete basis of pose-aligned patches is extracted and a specialized appearance classification network is trained for each patch. An aggregating network is then applied to combine the patch networks' individual predictions, producing a final classification score. Our PAIRS algorithm attains an accuracy of 88.6%, an increase of 1.1% over the current state-of-the-art. Enhancing the base PAIRS model with single-keypoint patches produces a further improvement, yielding a new state-of-the-art accuracy of 89.2% on the CUB dataset and clearly demonstrating the power of integrating pose and appearance features.

연구 동기 및 목표

• 작은 부분 차이가 하위군을 정의하는 세분화된 시각 분류에서 자세 변동의 과제를 해결하기 위해.
• 패치 추출을 위한 앵커 포인트로 관절점 예측을 활용하여 객체 부분의 국소화 정확도를 향상시키기 위해.
• 예측된 관절점 구성에 맞춰 정렬된 패치를 추출함으로써 외관 특징의 안정성을 향상시키기 위해.
• 자세와 외관을 함께 모델링하여 세분화된 분류 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 이 방법은 입력 이미지의 관절점 위치를 예측하기 위해 Stacked Hourglass 네트워크를 사용하며, CUB-200-2011에서 최고 성능의 국소화 성능를 달성한다.
• 이미지 패치는 예측된 관절점 쌍을 앵커 포인트로 사용하여 추출되며, 다양한 시야에서 자세가 일치하도록 보장한다.
• 동일한 부분의 다수의 공간 구성(configuration)을 커버하기 위해 자세에 맞춰 정렬된 패치의 과잉 기저(overcomplete basis)를 생성한다.
• 각 패치에 대해 독립적으로 훈련된 특수화된 딥 컨볼루션 네트워크를 사용하여 자세가 안정된 방식으로 외관 특징을 분류한다.
• 개별 패치 예측을 종합하여 최종 분류 점수를 도출하기 위해 별도의 집계 네트워크를 사용한다.
• 단일 관절점 패치를 통합함으로써 모델의 강건성과 정확도가 향상된다.

실험 결과

연구 질문

• RQ1 큰 자세 변동 하에서 관절점 기반 패치 추출이 세분화된 인식 성능 향상에 기여할 수 있는가?
• RQ2 이미지 패치의 자세 정렬이 외관 특징의 안정성과 구별 능력에 어떤 영향을 미치는가?
• RQ3 통합된 다수의 자세에 맞춰 정렬된 패치가 전체 이미지 특징에 비해 분류 정확도 향상에 얼마나 기여하는가?
• RQ4 쌍 관절점 패치 추출을 초월하여 단일 관절점 패치의 추가가 성능 향상에 기여하는가?

주요 결과

• PAIRS는 CUB-200-2011 데이터셋에서 테스트 정확도 88.6%를 달성하여 이전 최고 성능 대비 1.1% 향상된 성과를 보였다.
• 단일 관절점 패치를 통합함으로써 모델은 CUB-200-2011 벤치마크에서 새로운 최고 성능인 89.2%의 정확도를 달성했다.
• 관절점 쌍을 앵커로 사용함으로써 분류 가능한 객체 부분에 대한 명시적인 상향식 주의가 가능해져 국소화 민감도가 향상되었다.
• 자세에 맞춰 정렬된 패치는 더 안정적이고 구별 능력 있는 외관 특징을 제공하여 시야 변화에 대한 민감도를 감소시켰다.
• 집계 네트워크는 패치 수준의 예측을 효과적으로 융합하여 다중 부분 모델링의 이점을 입증했다.
• Stacked Hourglass 네트워크는 CUB-200-2011에서 최고 성능의 관절점 국소화 성능를 달성하여 전체 프레임워크의 효과성을 뒷받침했다.