[논문 리뷰] Distribution Estimation to Automate Transformation Policies for Self-Supervision

Seunghan Yang, Debasmit Das외 3명|arXiv (Cornell University)|2021. 11. 24.

Cell Image Analysis Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 자기지도 학습(SSL)을 위한 보조 과제를 개선하기 위해 데이터셋에 존재하는 시각적 변환 분포를 자동으로 학습하는 GAN 기반 프레임워크를 제안한다. 적대적 학습을 통해 내재된 변환 분포를 추정하고, 그 보완 분포에서 샘플링함으로써 효과적인 보조 과제를 생성함으로써, 다운스트림 표현 학습을 향상시킨다. 이는 MNIST, SVHN, CIFAR-10, CIFAR-100 등 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent visual self-supervision works, an imitated classification objective, called pretext task, is established by assigning labels to transformed or augmented input images. The goal of pretext can be predicting what transformations are applied to the image. However, it is observed that image transformations already present in the dataset might be less effective in learning such self-supervised representations. Building on this observation, we propose a framework based on generative adversarial network to automatically find the transformations which are not present in the input dataset and thus effective for the self-supervised learning. This automated policy allows to estimate the transformation distribution of a dataset and also construct its complementary distribution from which training pairs are sampled for the pretext task. We evaluated our framework using several visual recognition datasets to show the efficacy of our automated transformation policy.

연구 동기 및 목표

• 수동 설계 없이 효과적인 시각적 변환 정책을 선택하는 데 도전하는 것.
• 이미 데이터셋에 존재하는 변환은 보조 과제에 덜 효과적일 수 있으므로, 이러한 변환을 식별하는 것.
• 데이터셋에 존재하지 않는 보완적인 변환 분포를 자동으로 생성함으로써 더 효과적인 SSL 보조 과제를 가능하게 하는 것.
• 추정된 분포에서 유도된 변환 정책이 수동 또는 무작위 선택보다 더 뛰어난 다운스트림 성능을 보임을 실증적으로 검증하는 것.

제안 방법

• 기본 사전 분포(예: 정규분포)에서 데이터의 변환 분포로의 매핑을 학습함으로써, 데이터셋에 존재하는 시각적 변환 분포를 추정하기 위해 생성적 적대적 네트워크(GAN) 프레임워크를 사용한다.
• 매핑 네트워크는 변환 매개변수의 히스토GRAM이 데이터셋 내 변환의 경험적 분포와 일치하도록 적대적 손실을 통해 훈련된다.
• 추정된 분포를 뒤집어보내 보완 분포를 구성함으로써, 이미 데이터에 존재하지 않는 변환을 샘플링할 수 있다.
• 보완 분포에서 변환 인스턴스를 생성하여, 예를 들어 회전 예측이나 인스턴스 식별과 같은 효과적인 SSL 보조 과제를 정의한다.
• 표준 SSL 벤치마크(예: RotNet 및 VTSS)를 사용하여 프레임워크를 평가하며, 수동 대비 자동 변환 선택을 비교하는 분석 연구를 수행한다.
• 대부분의 경우, 자동 변환 정책을 적용하여 대비 학습(SimCLR)에 확장함으로써, 라벨이 제한된 교차 도메인 데이터셋에서의 미세조정 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 주어진 데이터셋에 이미 존재하는 시각적 변환 분포를 자동으로 추정할 수 있는가?
• RQ2 데이터셋의 내재된 변환 분포와 보완되는 변환 인스턴스를 효과적으로 생성하는 방법은 무엇인가?
• RQ3 자동으로 생성된 보완 변환을 사용할 경우, 수동 선택 또는 무작위 샘플링 대비 더 나은 자기지도 표현을 얻을 수 있는가?
• RQ4 다운스트림 성능 측면에서 기존 방법(예: RotNet 및 VTSS)과 비교해 볼 때 자동 변환 정책은 어떻게 성능을 내는가?
• RQ5 제안된 방법은 라벨이 제한된 데이터에서 대비 학습 설정에서 성능 향상에 기여하는가?

주요 결과

• FMNIST에서 제안된 방법은 93.22%의 정확도를 기록하여 동일한 설정에서 RotNet(91.94%) 및 VTSS(92.18%)를 모두 초월했다.
• SVHN에서 제안된 방법은 94.75%의 정확도를 기록하여 RotNet(91.29%) 및 VTSS(91.72%)보다 유의미하게 뛰어났다.
• CIFAR-10에서는 VTSS(89.58%)와 동일한 성능을 기록했지만, 통제된 베이스라인 비교에서는 87.01%를 기록하여 강건성을 입증했다.
• CIFAR-100에서는 전체 비교에서 VTSS(64.87%)를 약간 앞서는 64.00%의 정확도를 기록했고, 베이스라인 비교에서는 62.48%를 기록했다.
• 교차 도메인 데이터셋에서의 대비 학습에서는 자동 변환 정책(ATP)이 ChestX에서 42.33%의 정확도를 기록하여 베이스라인(41.16%), Rot.(38.24%), Aff.(40.65%)를 모두 뛰어넘었다.
• 결과는 변환 선택이 SSL 성능에 상당한 영향을 미치며, 무작위나 수동 선택보다 데이터 기반 자동 정책 학습이 더 나은 표현을 이끌어낸다는 것을 확인시켰다.