[논문 리뷰] Delving into Inter-Image Invariance for Unsupervised Visual Representations

Jiahao Xie, Xiaohang Zhan외 3명|arXiv (Cornell University)|2020. 08. 26.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 내부 이미지 및 외부 이미지 불변성(both intra-image and inter-image invariance)을 통합한 비지도 시각 표현 학습을 위한 통합 프레임워크인 InterCLR를 제안한다. 가짜 레이블 유지, 샘플링 전략, 결정 경계 설계를 체계적으로 연구함으로써, 외부 이미지 불변성—의미적으로 유사한 이미지 간의 유사도 학습—이 최신 내부 이미지 방법보다 성능을 크게 향상시키며, 더 적은 학습 에포크 수와 낮은 계산 비용으로 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Contrastive learning has recently shown immense potential in unsupervised visual representation learning. Existing studies in this track mainly focus on intra-image invariance learning. The learning typically uses rich intra-image transformations to construct positive pairs and then maximizes agreement using a contrastive loss. The merits of inter-image invariance, conversely, remain much less explored. One major obstacle to exploit inter-image invariance is that it is unclear how to reliably construct inter-image positive pairs, and further derive effective supervision from them since no pair annotations are available. In this work, we present a comprehensive empirical study to better understand the role of inter-image invariance learning from three main constituting components: pseudo-label maintenance, sampling strategy, and decision boundary design. To facilitate the study, we introduce a unified and generic framework that supports the integration of unsupervised intra- and inter-image invariance learning. Through carefully-designed comparisons and analysis, multiple valuable observations are revealed: 1) online labels converge faster and perform better than offline labels; 2) semi-hard negative samples are more reliable and unbiased than hard negative samples; 3) a less stringent decision boundary is more favorable for inter-image invariance learning. With all the obtained recipes, our final model, namely InterCLR, shows consistent improvements over state-of-the-art intra-image invariance learning methods on multiple standard benchmarks. We hope this work will provide useful experience for devising effective unsupervised inter-image invariance learning. Code: https://github.com/open-mmlab/mmselfsup.

연구 동기 및 목표

• 내부 이미지 불변성에 비해 아직 미개척된 외부 이미지 불변성의 잠재력을 탐구하는 것.
• 특히 학습 중 가짜 레이블의 불안정성으로 인해 인간 레이블이 없는 상황에서 신뢰할 수 있는 외부 이미지 양성 쌍을 구성하는 데 도전하는 것.
• 효과적인 외부 이미지 불변성 학습을 가능하게 하는 최적의 설계 선택 사항—가짜 레이블 유지, 샘플링 전략, 결정 경계—를 규명하는 것.
• 내부 및 외부 이미지 불변성을 원활하게 통합하는 통합 프레임워크인 InterCLR를 개발하는 것.
• 외부 이미지 불변성 학습이 적절히 설계될 경우, 대규모 사전 학습 자원이 필요한 경우에도 최신 기술 수준의 내부 이미지 방법과 비교해 성능 향상을 이룰 수 있음을 입증하는 것.

제안 방법

• 공유된 특징 공간에서 대비 학습을 사용하여 내부 및 외부 이미지 불변성을 동시에 최적화하는 통합 프레임워크인 InterCLR를 도입한다.
• 노화된 레이블을 줄이기 위해 전역 클러스터링 대신 온라인 미니배치 k-means 군집을 사용하여 최신 가짜 레이블을 유지한다.
• 가짜 레이블이 정확하지 않을 수 있는 상황에서 잘못된 양성 쌍을 포함하지 않으면서도 어려운 음성 샘플을 선택하는 준-어려운 음성 샘플링 전략을 채택한다.
• 특수한 결정 경계를 사용하여 더 강력한 특징 학습을 가능하게 하며, 특히 노이즈가 많은 가짜 레이블 상황에서도 안정성을 확보한다.
• 학습된 특징을 기반으로 인스턴스 수준의 유사도를 활용하여 외부 이미지 양성 쌍을 구성함으로써, 동일한 클래스의 서로 다른 인스턴스 간의 의미 불변성을 학습할 수 있도록 한다.
• 동일한 이미지의 증강된 뷰 간의 유사도를 유도하는 대비 손실을 적용함으로써 내부 불변성을 학습하고, 의미적으로 유사한 이미지 간의 유사도를 유도함으로써 외부 불변성을 학습하며, 비유사한 이미지 간의 거리를 벌이는 방식을 사용한다.

실험 결과

연구 질문

• RQ1 학습 중에 가짜 레이블을 유지하는 온라인 방법이 오프라인 또는 전역 클러스터링에 비해 외부 이미지 불변성 학습에서 성능과 안정성 측면에서 어떻게 다른가?
• RQ2 노이즈가 많은 가짜 레이블 조건 하에서, 외부 이미지 대비 학습에 가장 효과적이고 신뢰할 수 있는 샘플링 전략은 무엇인가? (예: 어려운, 준-어려운, 무작위, 쉬운 음성 샘플)
• RQ3 대비 손실에서 결정 경계의 선택이 외부 이미지 불변성 학습의 일반화 및 강인성에 어떻게 영향을 미치는가?
• RQ4 적절히 설계된 외부 이미지 불변성 학습은 표준 벤치마크에서 최신 기술 수준의 내부 이미지 불변성 방법을 일관되게 초월할 수 있는가?
• RQ5 외부 이미지 불변성 학습은 대규모 사전 학습과 높은 계산 비용이 필요한 전처리를 줄이는데 얼마나 기여할 수 있는가?

주요 결과

• 미니배치 k-me안 군집을 통한 온라인 가짜 레이블 유지 방법은 레이블 노후화를 줄여 더 빠른 수렴과 향상된 성능을 이끌어내며, 오프라인 또는 전역 클러스터링보다 우수하다.
• 준-어려운 음성 샘플링은 가짜 레이블의 정확도가 떨어질 수 있는 상황에서 잘못된 양성 쌍을 포함하지 않는 바람직한 기울기 방향을 제공하여 더 안정적이고 편향 없는 기울기를 생성한다.
• 대비 손실에서 더 유연한 결정 경계를 사용하면 일반화 능력과 성능이 향상되며, 노이즈가 많은 또는 잘못된 외부 이미지 쌍에 과적합하는 것을 방지한다.
• ImageNet과 같은 여러 표준 벤치마크에서 SimCLR, SwAV, BYOL과 같은 최신 기술 수준의 내부 이미지 불변성 방법보다 InterCLR가 일관되게 성능 향상을 이룬다.
• 이전 최신 기술 수준의 방법들이 훨씬 큰 배치 크기와 더 긴 사전 학습 스케줄을 사용한 것에 비해, InterCLR는 더 효율적인 학습을 보이며 뛰어난 학습 효율성을 입증한다.
• KNN 검색 결과는 InterCLR가 내부 이미지 전용 기준 모델보다 더 많은 정확한 근접 이웃을 더 높은 코사인 유사도로 검색함을 보여주며, 10번째 이웃조차도 유사도가 높아 외부 이미지 불변성의 유용성을 확인한다.