[논문 리뷰] Improving Contrastive Learning by Visualizing Feature Transformation

Rui Zhu, Bingchen Zhao외 3명|arXiv (Cornell University)|2021. 08. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 4

한 줄 요약

이 논문은 대체로 더 어려운 양성 쌍을 생성하기 위해 외삽을 통해, 다양한 부정 쌍을 생성하기 위해 내삽을 통해 특징 변환(FT) 방법을 제안한다. 이는 새로운 점수 분포 분석 도구를 통해 시각화된다. 이 방법은 MoCo 대비 ImageNet-100에서 6.0% 향상되고, MoCoV2 대비 ImageNet-1K에서 2.1% 향상되며, 객체 검출 및 세그멘테이션과 같은 다양한 후행 작업에서 일관된 성능 향상을 보인다.

ABSTRACT

Contrastive learning, which aims at minimizing the distance between positive pairs while maximizing that of negative ones, has been widely and successfully applied in unsupervised feature learning, where the design of positive and negative (pos/neg) pairs is one of its keys. In this paper, we attempt to devise a feature-level data manipulation, differing from data augmentation, to enhance the generic contrastive self-supervised learning. To this end, we first design a visualization scheme for pos/neg score (Pos/neg score indicates cosine similarity of pos/neg pair.) distribution, which enables us to analyze, interpret and understand the learning process. To our knowledge, this is the first attempt of its kind. More importantly, leveraging this tool, we gain some significant observations, which inspire our novel Feature Transformation proposals including the extrapolation of positives. This operation creates harder positives to boost the learning because hard positives enable the model to be more view-invariant. Besides, we propose the interpolation among negatives, which provides diversified negatives and makes the model more discriminative. It is the first attempt to deal with both challenges simultaneously. Experiment results show that our proposed Feature Transformation can improve at least 6.0% accuracy on ImageNet-100 over MoCo baseline, and about 2.0% accuracy on ImageNet-1K over the MoCoV2 baseline. Transferring to the downstream tasks successfully demonstrate our model is less task-bias. Visualization tools and codes https://github.com/DTennant/CL-Visualizing-Feature-Transformation .

연구 동기 및 목표

• 대비 학습 훈련 중에 양성 및 부정 쌍의 점수 분포를 분석하기 위한 시각화 도구를 개발하기 위해.
• 모델의 동작 및 표현 품질에 대한 통찰을 드러내는 점수 분포의 핵심 패턴을 식별하기 위해.
• 기존의 데이터 증강을 초월하여 대비 학습 성능을 향상시키기 위한 특징 수준의 데이터 조작(특징 변환)을 설계하기 위해.
• 더 많은 시야 불변성과 분류 능력을 갖춘 표현을 생성함으로써 사전 학습 모델의 작업 편향을 줄이기 위해.
• 제안된 방법이 다양한 대비 학습 프레임워크와 후행 작업에 걸쳐 일반성과 강건성을 보여주기 위해.

제안 방법

• 훈련 중에 양성 및 부정 쌍의 코사인 유사도(양성/부정 점수) 분포를 추적하고 분석하기 위한 시각화 기법을 도입한다.
• 양성 쌍의 시야 변동성을 증가시켜 더 어려운 양성 쌍을 생성하기 위해 외삽을 제안한다. 이는 시야 불변성을 장려한다.
• 부정 특징 간의 내삽을 도입하여 다양한 부정 샘플을 생성함으로써 분류 능력을 향상시킨다.
• 추가적인 데이터 증강 또는 재정규화 없이 특징 공간에서 직접 특징 변환을 적용한다.
• 내삽과 외삽 강도를 제어하기 위해 하이퍼파ram터 α_in과 α_ex를 사용하는 학습 가능한 혼합 전략을 활용한다.
• 변환 후 ℓ₂ 정규화가 성능에 거의 영향을 주지 않지만, 단위 구면에서의 일관성을 위해 권장된다.

실험 결과

연구 질문

• RQ1 대비 학습 중에 양성 및 부정 쌍의 점수 분포는 어떻게 변화하며, 이는 모델 최적화에 대한 통찰을 어떻게 드러내는가?
• RQ2 외삽 및 내삽과 같은 특징 수준의 조작은 데이터 증강보다 대비 학습을 더 효과적으로 향상시킬 수 있는가?
• RQ3 더 어려운 양성 쌍과 다양한 부정 쌍을 생성하면 후행 작업에서 더 나은 일반화와 더 낮은 작업 편향을 이끌 수 있는가?
• RQ4 제안된 특징 변환은 다양한 대비 학습 아키텍처와 데이터셋에 얼마나 일반화될 수 있는가?
• RQ5 시각화 도구는 효과적인 특징 변환 설계를 안내하는 진단 도구로 기능할 수 있는가?

주요 결과

• 시각화 도구는 더 작은 양성 점수(더 높은 시야 변동성)가 더 좋은 수렴과 더 높은 정확도와 관련이 있음을 드러내며, 더 어려운 양성 쌍 설계의 동기를 제공한다.
• 양성 외삽은 시야 변동성을 증가시키고 양성 유사도를 감소시켜, 분석 실험에서 ImageNet-100에서 1.7%의 정확도 향상을 이끌어내었다(71.1%에서 72.8%로).
• 제안된 특징 변환은 MoCo에 대해 ImageNet-100에서 6.0% 향상되었고, MoCoV2에 대해 ImageNet-1K에서 2.1% 향상되었으며, 뚜렷한 성능 향상을 보였다.
• 후행 작업에서, 이 방법은 MoCo 및 MoCo-V2 기반 모델 대비 iNaturalist2018에서 +1.7%, CUB-200에서 +0.9%, FGVC-aircraft에서 +1.1%의 일관된 향상을 달성했다.
• 이 방법은 객체 검출 및 인스턴스 세그멘테이션에서 DetCo 및 InsLoc와 같은 작업 특화 모델을 능가하여, 작업 편향 감소를 시사한다.
• 이 특징 변환은 MoCo, SimCLR, InfoMin, SWAV, SimSiam 등 다양한 대비 학습 모델에서 강건하고 효과적이며, ImageNet-100에서 0.7%에서 5.77%까지의 성능 향상을 보였다.