[논문 리뷰] Align Yourself: Self-supervised Pre-training for Fine-grained Recognition via Saliency Alignment.

Di Wu, Siyuan Li외 6명|arXiv (Cornell University)|2021. 06. 30.

Visual Attention and Saliency Detection참고 문헌 51인용 수 5

한 줄 요약

이 논문은 세분적 인식을 향상시키기 위해 사전 영역 자르기 및 교환을 통해 시각을 생성하고, 이를 통해 시각 간 특징을 정렬하는 자기지도 대비 학습 프레임워크인 Cross-view Saliency Alignment (CVSA)를 제안한다. CVSA는 분류 성능 향상을 위해 분류성 텍스처와 공간적 국소화를 동시에 최적화하여 네 가지 세분적 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Self-supervised contrastive learning has demonstrated great potential in learning visual representations. Despite their success on various downstream tasks such as image classification and object detection, self-supervised pre-training for fine-grained scenarios is not fully explored. In this paper, we first point out that current contrastive methods are prone to memorizing background/foreground texture and therefore have a limitation in localizing the foreground object. Analysis suggests that learning to extract discriminative texture information and localization are equally crucial for self-supervised pre-training under fine-grained scenarios. Based on our findings, we introduce Cross-view Saliency Alignment (CVSA), a contrastive learning framework that first crops and swaps saliency regions of images as a novel view generation and then guides the model to localize on the foreground object via a cross-view alignment loss. Extensive experiments on four popular fine-grained classification benchmarks show that CVSA significantly improves the learned representation.

연구 동기 및 목표

• 현재 대비 학습 방법이 세분적 인식에서 배경과 전경 텍스처를 암기하는 경향이 있어 객체를 정확히 국소화하지 못하는 한계를 해결하기 위해.
• 자기지도 사전 훈련에서 분류성 텍스처 특징과 정밀한 전경 국소화의 이중 중요성을 탐구하기 위해.
• 세분적 분류를 위한 표현 학습을 향상시키기 위해 세분적 영역 기반의 새로운 시각 생성 전략을 제안하기 위해.
• 동일한 인스턴스의 다양한 시각 간에 전경 객체에 집중하도록 유도하는 명시적 손실을 개발하기 위해.

제안 방법

• 이 방법은 서로 다른 이미지의 세분적 영역을 자르고 교환하여 대비되는 시각을 생성하는 새로운 시각 생성 기법을 도입한다.
• 세분적 지도를 사용하여 가장 분류성이 높은 객체 영역을 식별하고 추출함으로써 모델이 전경에 집중하도록 보장한다.
• 동일한 인스턴스의 서로 다른 시각 간 특징을 정렬하는 교차 시각 정렬 손실을 설계하여 강력한 국소화를 촉진한다.
• 이 손실을 대비 학습 목표에 통합하여 인스턴스 식별과 공간적 주의를 동시에 최적화한다.
• 경계 상자나 클래스 레이블이 필요 없이 이미지 수준의 대비 신호를 기반으로 자기지도 방식으로 사전 훈련한다.
• 최종 표현은 표준 선형 프로브 또는 엔드 투 엔드 적응을 통해 다운스트림 세분적 분류 작업에서 미세조정된다.

실험 결과

연구 질문

• RQ1 현재 대비 학습 방법이 세분적 인식에서 어떤 방식으로 텍스처 암기로 인해 실패하는가?
• RQ2 세분적 영역 기반 시각 증강이 자기지도 사전 훈련에서 국소화 및 표현 품질을 어느 정도 향상시킬 수 있는가?
• RQ3 표준 데이터 증강과 비교해 볼 때 세분적 영역의 교차 시각 정렬이 세분적 벤치마크에서 더 나은 일반화를 이끌 수 있는가?
• RQ4 자기지도 세분적 표현 학습에서 텍스처 분류성과 공간적 국소화의 상대적 기여도는 어떠한가?

주요 결과

• CVSA는 네 개의 세분적 이미지 분류 벤치마크에서 기존 자기지도 방법보다 최신 기준 성능을 달성한다.
• 제거 실험을 통해 세분적 영역 기반 시각 생성과 교차 시각 정렬이 성능 향상에 필수적임을 확인한다.
• 모델은 다양한 시각 간에 전경 객체에 더 일관되게 주의를 기울이며, 부적절한 텍스처에 의존하는 것을 줄인다.
• 긴 꼬리 및 매우 유사한 세분적 카테고리에서 기존 대비 학습 기반 방법보다 뚜렷한 성능 향상을 보인다.
• 다양한 백본 아키텍처에서 일관된 성능 향상이 나타나, 이 방법의 일반화 능력을 시사한다.
• 텍스처 분류성과 국소화의 공동 최적화가 세분적 상황에서 더 견고한 표현을 이끌어낸다는 것이 결과적으로 입증된다.