[논문 리뷰] Improving Transferability of Representations via Augmentation-Aware Self-Supervision

Hankook Lee, Kibok Lee외 3명|arXiv (Cornell University)|2021. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 8

한 줄 요약

이 논문은 동일한 이미지의 두 개의 증강된 시각 간의 증강 파라미터(예: 자르기 위치, 색상 강도 등)의 차이를 학습함으로써 표현의 이식 가능성을 향상시키는 보조 자기 지율 손실인 AugSelf을 제안한다. 증강 인식 정보를 유지함으로써 AugSelf은 최소한의 계산 비용으로 감독 및 비감독 표현 학습을 향상시키며, 22개의 이식 학습 시나리오 중 20개와 11개의 감독 미리 훈련 설정 중 9개에서 일관되게 성능 향상을 보인다.

ABSTRACT

Recent unsupervised representation learning methods have shown to be effective in a range of vision tasks by learning representations invariant to data augmentations such as random cropping and color jittering. However, such invariance could be harmful to downstream tasks if they rely on the characteristics of the data augmentations, e.g., location- or color-sensitive. This is not an issue just for unsupervised learning; we found that this occurs even in supervised learning because it also learns to predict the same label for all augmented samples of an instance. To avoid such failures and obtain more generalizable representations, we suggest to optimize an auxiliary self-supervised loss, coined AugSelf, that learns the difference of augmentation parameters (e.g., cropping positions, color adjustment intensities) between two randomly augmented samples. Our intuition is that AugSelf encourages to preserve augmentation-aware information in learned representations, which could be beneficial for their transferability. Furthermore, AugSelf can easily be incorporated into recent state-of-the-art representation learning methods with a negligible additional training cost. Extensive experiments demonstrate that our simple idea consistently improves the transferability of representations learned by supervised and unsupervised methods in various transfer learning scenarios. The code is available at https://github.com/hankook/AugSelf.

연구 동기 및 목표

• 증강에 대해 불변인 표현 학습의 한계를 해결하기 위해, 색상 및 공간 레이아웃과 같은 증강 특화 정보를 버리는 것을 방지하기 위함.
• 색상 민감성 또는 위치 민감성 작업과 같은 증강 특화 신호에 의존하는 최종 작업에서 표현의 이식 가능성을 향상시키기 위함.
• 기존 자기 지율 및 감독 표현 학습 프레임워크에 쉽게 통합할 수 있는 일반적이고 저비용의 방법을 개발하기 위함.
• 감독 미리 훈련 중에도 보조 손실을 통해 증강 인식 지식을 유지함으로써 이점이 있음을 입증하기 위함.

제안 방법

• AugSelf은 동일한 이미지의 두 증강된 시각 간의 증강 파라미터 차이를 예측하는 보조 자기 지율 손실을 도입한다.
• 이 방법은 자르기 위치나 색상 왜곡 강도와 같은 파라미터의 차이를 회귀하는 작은 예측 헤드를 훈련시킨다.
• 자기 지율 학습에서 표준 대비 또는 비대비 목표와 함께 손실을 적용하며, 훈련 오버헤드는 극히 미미하다.
• 이 방법은 대비 기반(SimCLR 등) 및 비대비 기반(SimSiam, BYOL 등) 방법 모두와 호환되며, 랜덤 자르기 및 색상 왜곡과 같은 표준 증강 기법과도 함께 작동한다.
• 감독 미리 훈련에서도 효과적이며, 표준 훈련 중 증강에 의한 불변성 유도를 완화한다.
• 증강 파라미터 차이는 학습 가능한 회귀 과제로 모델링되어, 표준 불변성 기반 목표에서 손실되는 유용한 정보를 유지할 수 있다.

실험 결과

연구 질문

• RQ1 데이터 증강에 대한 불변성 학습이 최종 작업에서 이식 가능성을 손상시키는 경우는 언제인가?
• RQ2 증강 인식 정보를 유지함으로써 다양한 최종 작업에서 표현의 일반화 능력 향상이 가능할까?
• RQ3 기존 자기 지율 및 감독 학습 프레임워크에 효율적으로 증강 인식 자기 지율을 통합할 수 있는가?
• RQ4 보조 손실이 증강 불변성이 이미 강제되는 표준 감독 미리 훈련에서도 이식 가능성을 향상시킬 수 있는가?
• RQ5 이 방법은 다양한 증강 유형과 최종 작업 유형(소수 샘플 설정 포함)으로 일반화 가능한가?

주요 결과

• AugSelf은 MoCo 및 SimSiam와 같은 비감독 방법의 22개 테스트 이식 학습 시나리오 중 20개에서 성능 향상을 보였다.
• 평가된 11개의 감독 미리 훈련 설정 중 9개에서 감독 미리 훈련 성능 향상을 보였으며, 이는 비감독 학습을 넘어서는 이점을 입증한다.
• AugSelf은 표준 증강 불변성 방법이 성능이 떨어지는 색상 민감성 벤치마크(예: Flowers)에서 일관되게 성능 향상을 보였다.
• 작은 추가 예측 헤드와 최소한의 계산만으로 훈련 비용이 극히 미미하다.
• AugSelf은 소수 샘플 학습 설정에서도 효과적이며, 낮은 데이터 환경에서의 강건성과 일반화 능력을 보여준다.
• 추가 증강 샘플이 필요하거나 대비 기반 학습에 국한되는 이전의 증강 인식 방법보다 우수한 성능을 보였다.