[논문 리뷰] Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling

Jonas Dippel, Steffen Vogler외 1명|arXiv (Cornell University)|2021. 04. 09.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 대조적 학습과 이미지 복원, 주의 풀링을 함께 최적화함으로써 세분화된 시각적 표현을 향상시키는 자기지도 학습 프레임워크인 ConRec을 제안한다. U-Net 기반의 인코더-디코더와 대조적 투영 헤드를 조합함으로써 ConRec는 세분화된 분류 벤치마크에서 SimCLR와 주의 풀링을 통한 SimCLR를 능가하며, 더 높은 특징 세분성과 국소적 변형에 대한 강건성을 입증한다.

ABSTRACT

This paper presents Contrastive Reconstruction, ConRec - a self-supervised learning algorithm that obtains image representations by jointly optimizing a contrastive and a self-reconstruction loss. We showcase that state-of-the-art contrastive learning methods (e.g. SimCLR) have shortcomings to capture fine-grained visual features in their representations. ConRec extends the SimCLR framework by adding (1) a self-reconstruction task and (2) an attention mechanism within the contrastive learning task. This is accomplished by applying a simple encoder-decoder architecture with two heads. We show that both extensions contribute towards an improved vector representation for images with fine-grained visual features. Combining those concepts, ConRec outperforms SimCLR and SimCLR with Attention-Pooling on fine-grained classification datasets.

연구 동기 및 목표

• 대조적 학습 방법인 SimCLR가 국소 세부 정보 민감도가 부족하여 세분화된 시각적 특징을 포착하는 데 한계를 가진다는 점을 해결하기 위해.
• 이미지 복원 및 주의 메커니즘을 대조적 프레임워크에 통합하여 세분화된 분류를 위한 표현 품질을 향상시키기 위해.
• 복원 및 대조적 학습을 조합함으로써 복잡한 시각적 카테고리에 대해 더 분류 가능한 높은 세분성의 특징을 도출할 수 있음을 입증하기 위해.
• 의료 영상 및 세분화된 시각 분류 작업을 포함한 세분화된 데이터셋에서 제안된 아키텍처의 효과성을 검증하기 위해.

제안 방법

• ConRec는 마스크된 입력 이미지를 처리하고 재구성된 이미지 및 대조적 표현을 생성하기 위해 스위프 커넥션을 갖춘 이중 헤드 U-Net 인코더-디코더 아키텍처를 사용한다.
• 모델은 두 손실을 동시에 최적화한다: 모멘텀 대조적 학습(MoCo 방식)을 사용한 대조적 손실과 픽셀 단위 평균 제곱 오차 복원 손실.
• 투영 이전에 인코더 특징에 주의 풀링을 적용하여 표현 학습 중에 주목할 만한 국소 영역에 집중할 수 있도록 한다.
• N개의 레이블이 없는 이미지 각각에 대해 두 개의 증강된 마스크된 뷰를 생성하고, 모델은 2N개의 뷰에서 동시에 복원 및 대조적 학습을 수행한다.
• 최종 표현 벡터는 주의 풀드된 특징에 적용된 투영 헤드에 의해 생성되며, 이는 후속 대조적 최적화를 가능하게 한다.
• 전체 손실은 가중치 합으로 표현된다: $\mathcal{L}_{\text{ConRec}} = \mathcal{L}_c + \alpha \cdot \mathcal{L}_r$, 여기서 $\alpha$는 두 목적 간의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 자기 복원 및 주의 풀링의 통합이 세분화된 분류를 위한 대조적 표현의 분류 능력을 향상시킬 수 있는가?
• RQ2 대조적 학습과 복원 목적을 함께 최적화하면 표준 SimCLR에 비해 세분화된 시각 인식 작업에서 더 나은 일반화 성능을 보일까?
• RQ3 주의 풀링이 자기지도 학습에서 특징 국소화 및 국소적 이미지 변형에 대한 강건성에 얼마나 기여하는가?
• RQ4 옥스포드 플라워스 및 당뇨병 망막병변 이미지처럼 내적 클래스 변동성이 높고 상호 클래스 차이가 미세한 데이터셋에서 ConRec의 성능은 어떠한가?

주요 결과

• ConRec는 세분화된 분류 벤치마크인 Oxford Flowers-102에서 표준 SimCLR를 능가하며, 대조적 손실과 복원 손실의 연합 최적화를 통해 정확도 향상을 입증한다.
• SimCLR에 주의 풀링을 추가하면 세분화된 분류 성능이 크게 향상되어 분류 가능한 국소적 특징에 더 잘 집중함을 시사한다.
• 복원 및 주의 메커니즘을 함께 사용할 경우 당뇨병 망막병변 분류에서 ConRec가 추가적인 성능 향상을 보이며, 이들이 상호 보완적인 역할을 함을 확인한다.
• 절단 실험 결과, 복원 및 주의 메커니즘이 각각 표현 품질 향상에 기여하며, 이들의 조합이 가장 우수한 성능을 낸다.
• 모델의 성능 향상 요인은 국소적인 세분화된 시각적 특성에 대한 민감도 향상에 기인하며, 가림 및 조명 변화와 같은 전반적 왜곡에 대해서도 강건성을 유지한다.
• 결과는 자기 복원이 특히 세분화된 인식에 핵심적인 저수준 시각 패턴에서 더 세부적이고 의미 있는 특징을 학습하는 데 도움이 된다고 확인한다.