[논문 리뷰] Fine-Grained Object Classification via Self-Supervised Pose Alignment

Xuhui Yang, Yaowei Wang외 3명|arXiv (Cornell University)|2022. 03. 30.

3D Surveying and Cultural Heritage인용 수 7

한 줄 요약

이 논문은 자가학습 방식의 P2P-Net을 제안하며, 비지도 그래프 매칭을 통해 분류에 유용한 국소적 부분들을 정렬함으로써 자세에 민감하지 않은 객체 표현을 학습한다. 부분 기반 특징 정규화와 커리큘럼 학습을 통합하여, CUB, Stanford Cars, Aircraft 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 특징의 밀도를 높이고 자세 변화에 대한 강건성을 향상시킨다.

ABSTRACT

Semantic patterns of fine-grained objects are determined by subtle appearance difference of local parts, which thus inspires a number of part-based methods. However, due to uncontrollable object poses in images, distinctive details carried by local regions can be spatially distributed or even self-occluded, leading to a large variation on object representation. For discounting pose variations, this paper proposes to learn a novel graph based object representation to reveal a global configuration of local parts for self-supervised pose alignment across classes, which is employed as an auxiliary feature regularization on a deep representation learning network.Moreover, a coarse-to-fine supervision together with the proposed pose-insensitive constraint on shallow-to-deep sub-networks encourages discriminative features in a curriculum learning manner. We evaluate our method on three popular fine-grained object classification benchmarks, consistently achieving the state-of-the-art performance. Source codes are available at https://github.com/yangxh11/P2P-Net.

연구 동기 및 목표

• 자세 변화로 인해 특징 일관성과 모델 일반화 능력이 떨어지는 미세 분류 문제를 해결한다.
• 객체 자세 변화로 인한 클래스 내 분산을 줄이면서도 분류에 기여하는 국소적 부분의 특징를 유지한다.
• 부분 또는 자세 애너테이션 없이도 이미지 간 국소적 부분을 정렬할 수 있는 자가학습, 애너테이션 없는 방법을 개발한다.
• 추론 시 제거 가능한 새로운 특징 정규화 기법을 통해 표현의 분류 능력을 향상시키며, 효율성을 확보한다.
• 라벨 스무딩과 얕은-깊은 계층의 지도 신호를 활용한 커리큘럼 학습 전략을 도입하여 점진적으로 분류 능력 있는 특징을 학습한다.

제안 방법

• 특징 피라미드 네트워크(FPN) 기반 아키텍처를 활용해 약한 지도 학습 방식으로 주목할 만한 국소 영역을 탐지하는 비지도 부분-자세(P2P) 네트워크를 제안한다.
• 전역 이미지 특징와 국소 부분 특징 간 분포 차이를 최소화하기 위해 대비 손실(contrastive loss)을 적용하여 특징 일관성을 강제한다.
• 기하학적 구성에 기반해 이미지 간 탐지된 국소 부분을 정렬하는 적응형 그래프 매칭 알고리즘을 설계하여 자세에 강인한 표현 학습을 가능하게 한다.
• 부분 기반 특징 정규화 모듈을 학습 시에만 통합하여 추론 시 제거함으로써 효율성을 확보한다.
• 얕은 네트워크와 깊은 네트워크 간의 쉬운 학습 신호에서 어려운 신호로 점진적으로 전이되는 라벨 스무딩을 활용한 코arse-to-fine 지도 학습 전략을 구현한다.
• 국소 부분 특징가 전역 표현과 대비 학습을 통해 일치하도록 하는 이중 스트림 특징 정규화 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 자기학습 기반 부분 정렬이 미세 분류에서 자세 변화로 인한 클래스 내 분산을 줄일 수 있는가?
• RQ2 부분 또는 자세 애너테이션이 없이도 비지도 그래프 기반 부분 매칭이 특징 일관성을 얼마나 효과적으로 향상시키는가?
• RQ3 라벨 스무딩을 활용한 커리큘럼 학습이 깊은 신경망의 분류 능력을 어느 정도 향상시키는가?
• RQ4 추론 오버헤드 없이 부분 기반 특징 정규화 기법을 적용할 수 있는가, 실용적 구현에 부합하는가?
• RQ5 기본 벤치마크에서 정확도와 표현의 밀도 측면에서 최신 기술 수준 모델과 비교해 볼 때, 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• P2P-Net은 세 가지 벤치마크에서 최신 기술 수준의 성능를 달성하였으며, CUB-200-2011에서 90.2%의 top-1 정확도, Stanford Cars에서 95.8%, FGVC-Aircraft에서 92.1%를 기록하였다.
• CUB에서 학습된 표현의 평균 RMSE를 0.213으로 낮춰, 비교된 모든 방법 중에서 가장 낮은 수준을 기록하여 특징의 밀도가 높음을 시사한다.
• 절단 분석 결과, 비지도 부분 정렬(UPA)이 성능 향상에 크게 기여하며, 기준 모델 + 특징 정규화(Baseline+FR)의 RMSE 0.268에서 기준 모델 + 특징 정규화 + UPA(Baseline+FR+UPA)로 0.213으로 감소함을 확인하였다.
• 시각화 결과, P2P-Net이 분류에 기여하는 국소 부분(예: 새의 머리/몸통, 자동차의 앞부분/몸통)에 집중하고 배경 활성화를 억제함으로써 관련 영역에 대한 주의를 향상시킴을 확인하였다.
• t-SNE 플롯을 통해 특징 정규화를 적용한 후, 표현이 더 강한 클래스 내 응집도와 더 넓은 클래스 간 간격을 보이며, 더 나은 분류 성능를 유도하는 것으로 나타났다.
• CUB에서 N=4개의 분류에 기여하는 국소 부분을 사용할 경우 최적의 성능를 기록하였으며, 정확도는 90.2%에 도달하였고, N을 더 높여도 성능 향상이 없었다.