[논문 리뷰] AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation

Mingxiang Chen, Zhanguo Chang외 5명|arXiv (Cornell University)|2021. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 7

한 줄 요약

AugNet는 레이블이 없는 데이터를 사용하여 의미 있는 이미지 특징을 학습하기 위해 데이터 증강을 활용하는 종단간 비지도 시각 표현 학습 방법을 제안한다. 동일한 이미지의 증강된 뷰의 임베딩을 가깝게 유지하면서 다른 이미지의 임베딩을 떼어내는 방식으로, 비지도 이미지 클러스터링 및 이미지 검색에서 최신 기술 수준(SOTA) 성능을 달성하며, 포켓몬, 애니메이션 일러스트, 인간 스케치와 같은 도메인 외부 데이터셋에서 지도 학습 기반 기준을 초월한다.

ABSTRACT

Most of the achievements in artificial intelligence so far were accomplished by supervised learning which requires numerous annotated training data and thus costs innumerable manpower for labeling. Unsupervised learning is one of the effective solutions to overcome such difficulties. In our work, we propose AugNet, a new deep learning training paradigm to learn image features from a collection of unlabeled pictures. We develop a method to construct the similarities between pictures as distance metrics in the embedding space by leveraging the inter-correlation between augmented versions of samples. Our experiments demonstrate that the method is able to represent the image in low dimensional space and performs competitively in downstream tasks such as image classification and image similarity comparison. Specifically, we achieved over 60% and 27% accuracy on the STL10 and CIFAR100 datasets with unsupervised clustering, respectively. Moreover, unlike many deep-learning-based image retrieval algorithms, our approach does not require access to external annotated datasets to train the feature extractor, but still shows comparable or even better feature representation ability and easy-to-use characteristics. In our evaluations, the method outperforms all the state-of-the-art image retrieval algorithms on some out-of-domain image datasets. The code for the model implementation is available at https://github.com/chenmingxiang110/AugNet.

연구 동기 및 목표

• 수동 애너테이션을 필요로 하지 않는 단순하고 종단간 비지도 딥 러닝 프레임워크를 개발하는 것.
• 증강된 이미지 변형 간 상호상관관계를 자가지도 신호로 활용하여 특징 표현을 향상시키는 것.
• 외부 애너테이션 데이터셋에서 사전 훈련하지 않고도 이미지 분류 및 유사도 비교와 같은 후속 작업에 학습된 특징의 이식성을 보장하는 것.
• 제한된 또는 레이블이 없는 데이터를 가진 도메인 외부 데이터셋에서 기존 비지도 및 지도 학습 기반 이미지 검색 방법을 능가하는 것.

제안 방법

• 이 방법은 동일한 이미지의 증강된 뷰가 가까이 오도록 하는 저차원 임베딩 공간으로 이미지를 매핑하는 깊은 CNN을 훈련한다.
• 긍정 쌍(동일한 이미지의 증강된 뷰) 간 유사도를 최대화하고, 부정 쌍(다른 이미지의 증강된 뷰) 간 유사도를 최소화하기 위해 대비 손실 함수를 사용한다.
• 이 프레임워크는 레이블이 없는 이미지만을 사용하여 종단간으로 훈련되며, 각 이미지에 대해 데이터 증강을 적용하여 긍정 쌍을 생성한다.
• 모델은 ResNet 백본(ResNet18, ResNet34)을 사용하고, 학습된 표현의 시각화를 위해 t-SNE를 적용한다.
• 추론 과정에서는 어떤 피팅 조정이나 외부 감독 없이 이미지 특징을 추출하고, 유사도 검색 또는 클러스터링에 사용한다.
• 스케치 데이터셋의 경우, 훈련 중 구조적 세부 정보를 유지하기 위해 이미지를 단일 채널로 변환한다.

실험 결과

연구 질문

• RQ1 오직 이미지 증강에 기반한 자가지도 학습 방법이 레이블이 없는 데이터만으로도 경쟁 가능한 시각 표현을 학습할 수 있는가?
• RQ2 도메인 외부 데이터셋에서 이미지 검색 성능 측면에서 제안된 방법이 최신 기술 수준의 지도 및 비지도 방법과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 특징이 애니메이션, 스케치, 포켓몬 이미지와 같은 다양한 데이터 분포 간에 얼마나 일반화되는가?
• RQ4 제한된 훈련 데이터와 사전 훈련 모델에 접근할 수 없는 상황에서도 이 방법이 강력한 성능을 유지하는가?

주요 결과

• AugNet는 STL-10과 CIFAR-100에 대해 각각 60.1%와 27.1%의 정확도를 기록하여 강력한 표현 학습 능력을 입증했다.
• 포켓몬 데이터셋에서 모델은 86.50% mAP를 기록하여 이전 최신 기술 수준(SOTA)보다 5.92 포인트 높은 성능을 달성했다.
• 태그된 애니메이션 일러스트 데이터셋에서 모델은 20.33% mAP를 기록하여 이전 최신 기술 수준(SOTA)보다 3.63포인트 향상시켰다.
• 인간 스케치 데이터셋에서 모델은 20.03% mAP를 기록하여 이전 최신 기술 수준(SOTA)을 0.83포인트 초월했다.
• 모델은 포켓몬 데이터셋에서 20분, 애니메이션 데이터셋에서 6시간, 스케치 데이터셋에서 12시간 내에 수렴하여 소형에서 중형 규모의 데이터셋에서 효율적인 훈련을 보였다.
• t-SNE를 사용한 시각화 결과, 모델이 의미적으로 유의미한 클러스터를 학습했으며, 유사한 이미지들이 임베딩 공간에서 함께 묶여 있음을 확인했다.