[논문 리뷰] Rethinking Image Mixture for Unsupervised Visual Representation Learning

Zhiqiang Shen, Zechun Liu외 3명|arXiv (Cornell University)|2020. 03. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 59인용 수 25

한 줄 요약

이 논문은 자기지도 학습 기반 표현 학습 중 예측 분포를 부드럽게 하기 위해 이미지 혼합을 적용하는 간단하면서도 효과적인 비지도 데이터 증강 기법인 Un-Mix를 제안한다. Mixup 방식의 보간을 통해 입력 이미지를 변형하고 새로운 의사 레이블을 할당함으로써, Un-Mix는 여러 벤치마크에서 강건성과 일반화 능력을 향상시켜 SimCLR, BYOL, MoCo와 같은 기본 방법보다 일관되게 1–3%의 정확도 향상을 이룬다. 하이퍼파라미터나 학습 절차를 변경하지 않았다.

ABSTRACT

In supervised learning, smoothing label or prediction distribution in neural network training has been proven useful in preventing the model from being over-confident, and is crucial for learning more robust visual representations. This observation motivates us to explore ways to make predictions flattened in unsupervised learning. Considering that human-annotated labels are not adopted in unsupervised learning, we introduce a straightforward approach to perturb input image space in order to soften the output prediction space indirectly, meanwhile, assigning new label values in the unsupervised frameworks accordingly. Despite its conceptual simplicity, we show empirically that with the simple solution -- Unsupervised image mixtures (Un-Mix), we can learn more robust visual representations from the transformed input. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods.

연구 동기 및 목표

• 비지도 시각 표현 학습에서 레이블 스무딩의 부족으로 인해 모델이 과신하는 경향이 발생하는 문제를 해결하기 위해.
• 인간이 레이블링한 데이터에 의존하지 않고 예측 분포를 부드럽게 하는 간접적인 방법을 탐색하기 위해.
• 자기지도 학습 프레임워크에서 강건성을 향상시키는 즉시 사용 가능한 증강 전략을 개발하기 위해.
• 기존의 비지도 학습 방법을 사용하여 표준 벤치마크에서 입력 공간의 변형을 통해 이미지 혼합의 효과를 평가하기 위해.
• 기존 학습 파이프라인에 최소한의 수정으로 다양한 데이터셋과 아키텍처에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 입력 이미지 쌍 간의 mixup 스타일 보간을 적용하여 증강된 훈련 샘플을 생성하는 Un-Mix 기법을 제안한다.
• 기존 이미지의 레이블을 가중 평균하여 소프트 레이블을 형성함으로써 혼합된 이미지에 의사 레이블을 할당한다.
• 모델 수준의 레이블 스무딩이나 아키텍처 변경 없이 입력 공간에서 이미지 혼합과 레이블 할당을 직접 수행한다.
• SimCLR, BYOL, MoCo V1 및 MoCo V2와 같은 기존의 비지도 학습 프레임워크에 원활하게 통합된다.
• 표준 학습 절차와 하이퍼파라미터를 사용하여 호환성과 도입 용이성을 보장한다.
• 대비 학습 및 모멘텀 기반 학습 목표의 일관성을 유지하기 위해 대칭적인 mixup 전략을 사용한다.

실험 결과

연구 질문

• RQ1 의사 레이블 할당과 함께 입력 공간에서의 이미지 혼합이 비지도 시각 표현의 강건성 향상에 기여하는가?
• RQ2 데이터 증강을 통해 예측 분포를 부드럽게 하는 것이 자기지도 학습에서의 일반화 능력 향상에 기여하는가?
• RQ3 Un-Mix처럼 단순하고 즉시 사용 가능한 방법이 다양한 데이터셋과 비지도 학습 방법에서 일관된 성능 향상을 이룰 수 있는가?
• RQ4 Un-Mix의 성능 향상 효과는 하이퍼파라미터 튜닝이나 모델 아키텍처에 의존하는가?
• RQ5 정확도와 안정성 측면에서 Un-Mix는 다른 데이터 증강 전략과 비교해 어떻게 성능을 내는가?

주요 결과

• Un-Mix는 CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet 및 ImageNet을 포함한 여러 비지도 학습 벤치마크에서 일관되게 1–3%의 성능 향상을 달성한다.
• 하이퍼파라미터나 학습 절차를 수정하지 않았기 때문에, 이 방법의 호환성과 즉시 사용 가능한 성격을 입증한다.
• SimCLR, BYOL, MoCo V1 및 MoCo V2와 같은 다양한 자기지도 학습 방법에서 안정적인 성능 향상을 관찰할 수 있다.
• 입력 공간을 변형함으로써 예측 분포를 효과적으로 부드럽게 하여 모델의 과신을 감소시킨다.
• 실험 결과에 따르면 Un-Mix는 표현 품질을 향상시켜 선형 평가 프로토콜에서 더 높은 최종 정확도를 달성한다.
• 계산적으로 효율적이며 추가 모델 파라미터나 복잡한 학습 스케줄링이 필요하지 않다.