[논문 리뷰] Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning

Zhiqiang Shen, Zechun Liu외 4명|arXiv (Cornell University)|2020. 03. 11.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 유사도를 연속적인 값(0에서 1 사이)으로 모델링하는 가용학습 이미지 혼합과 소프트 레이블 재할당을 도입하여 대비 학습을 향상시키는 간단하면서도 효과적인 비지도 시각 표현 학습 방법인 Un-Mix를 제안한다. 입력과 레이블 공간을 동시에 조작하여 미세한 유사도 정도를 모델링함으로써 표현의 강건성과 일반화 능력을 향상시키며, 하이퍼파ram터를 변경하지 않고도 다양한 데이터셋과 방법에서 일관되게 1–3%의 정확도 향상을 달성한다.

ABSTRACT

The recently advanced unsupervised learning approaches use the siamese-like framework to compare two "views" from the same image for learning representations. Making the two views distinctive is a core to guarantee that unsupervised methods can learn meaningful information. However, such frameworks are sometimes fragile on overfitting if the augmentations used for generating two views are not strong enough, causing the over-confident issue on the training data. This drawback hinders the model from learning subtle variance and fine-grained information. To address this, in this work we aim to involve the distance concept on label space in the unsupervised learning and let the model be aware of the soft degree of similarity between positive or negative pairs through mixing the input data space, to further work collaboratively for the input and loss spaces. Despite its conceptual simplicity, we show empirically that with the solution -- Unsupervised image mixtures (Un-Mix), we can learn subtler, more robust and generalized representations from the transformed input and corresponding new label space. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, SwAV, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods. Code is publicly available at https://github.com/szq0214/Un-Mix.

연구 동기 및 목표

• 부분적으로만 다양화된 데이터 증강으로 인해 발생하는 대비 학습의 과신과 과적합 문제를 해결하기 위해.
• 입력 공간의 혼합을 통해 양성 및 음성 쌍 간의 소프트 유사도 모델링을 도입하여 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 입력과 레이블 공간을 동시에 수정하여 잠재 특징 공간에서 더 정밀하고 부드러운 결정 경계를 만들기 위해.
• 기존의 대비 및 비대비 비지도 학습 프레임워크에 쉽게 통합할 수 있는 플러그 앤 플레이 방식의 개선책을 제공하기 위해.
• 하이퍼파ram터 조정 없이 다양한 데이터셋과 백본 아키텍처에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 학습 가능한 혼합 비율을 사용해 두 개의 입력 이미지를 혼합하여 새로운 훈련 샘플을 생성한다.
• 혼합 비율에 기반해 혼합된 쌍에 대해 소프트 레이블을 재할당하며, 이는 0에서 1 사이의 연속적인 유사도 정도를 모델링한다.
• 데이터 증강 과정에서 혼합 연산을 적용하여 소프트 지도 학습을 사용하는 대비 손실에 활용할 수 있는 혼합된 시각을 생성한다.
• 원본 및 뒤집힌 이미지 순서에 대해 대칭적인 전방 계산을 수행하여 추가 백프로파게이션 없이 계산 효율성을 유지한다.
• 기존의 SimCLR, BYOL, MoCo, SwAV 등의 비지도 프레임워크에 쉽게 통합되며, 표준 증강 대신 혼합 기반의 시각을 사용한다.
• 학습 가능한 혼합 비율을 통해 기울기가 흐르도록 가능한 미분 가능한 혼합 전략을 사용하여 혼합 과정의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 혼합을 통한 이미지 쌍 간의 소프트 유사도 모델링이 비지도 표현의 강건성과 일반화 능력을 향상시키는가?
• RQ2 입력과 레이블 공간을 동시에 조작하는 것이 표준 데이터 증강 대비 잠재 특징 공간에서 더 나은 결정 경계를 만들어내는가?
• RQ3 제안된 혼합 전략이 다양한 대비 및 비대비 비지도 학습 프레임워크에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 성능 향상은 더 나은 표현 학습 때문인지, 단지 더 긴 훈련 기간 때문인지, 그리고 표준 훈련 기간과 비교해 볼 때 어떻게 되는가?
• RQ5 이 방법은 다운스트림 작업에서 모델의 신뢰도와 분포 이탈에 대한 민감도에 어떤 영향을 미치는가?

주요 결과

• Un-Mix는 SimCLR, BYOL, MoCo V1/V2, SwAV에 적용했을 때 CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet, ImageNet 등 다양한 데이터셋에서 일관되게 1–3%의 정확도 향상을 달성한다.
• ImageNet 선형 평가에서, 동일한 24-에포크 훈련 스케줄과 하이퍼파ram터를 사용할 때 MoCo V2에 Un-Mix를 적용하면 Top-1 정확도가 71.1%에서 71.8%로 향상된다.
• COCO에서의 객체 검출 작업에서는 기준 MoCo V2 대비 AP가 0.7–1.2점 향상되었으며, AP50와 AP75 모두 0.7점 향상되었다.
• PASCAL VOC에서의 성능은 Faster R-CNN과 Mask R-CNN 모두에서 AP가 0.3–0.7점 향상되어 강력한 전이 가능성(transferability)을 보였다.
• t-SNE 시각화 결과, Un-Mix는 특히 의미적으로 유사한 클래스들에 대해 더 분리되고 잘 정렬된 특징 클러스터를 생성하는 것으로 나타났다.
• 추가 전방 계산 비용이 1/3 이하이며, 추가 백프로파게이션 없이도 계산 효율성이 높아 실용적인 배포에 적합하다.