[논문 리뷰] Rethinking Data Augmentation: Self-Supervision and Self-Distillation

Hankook Lee, Sung Ju Hwang외 1명|arXiv (Cornell University)|2019. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 41

한 줄 요약

이 논문은 자기지도 학습과 자기 정규화 프레임워크를 제안하여, 증강된 샘플의 원본 레이블과 자기지도 레이블을 함께 모델링함으로써 지도 학습에서 데이터 증강을 향상시키고, 특히 소수의 샘플과 불균형 설정에서 더 견고한 일반화를 가능하게 한다. 이 방법은 집합 추론과 지식 정규화를 통해 표준 증강 기법보다 성능을 향상시킨다.

ABSTRACT

Data augmentation techniques, e.g., flipping or cropping, which systematically enlarge the training dataset by explicitly generating more training samples, are effective in improving the generalization performance of deep neural networks. In the supervised setting, a common practice for data augmentation is to assign the same label to all augmented samples of the same source. However, if the augmentation results in large distributional discrepancy among them (e.g., rotations), forcing their label invariance may be too difficult to solve and often hurts the performance. To tackle this challenge, we suggest a simple yet effective idea of learning the joint distribution of the original and self-supervised labels of augmented samples. The joint learning framework is easier to train, and enables an aggregated inference combining the predictions from different augmented samples for improving the performance. Further, to speed up the aggregation process, we also propose a knowledge transfer technique, self-distillation, which transfers the knowledge of augmentation into the model itself. We demonstrate the effectiveness of our data augmentation framework on various fully-supervised settings including the few-shot and imbalanced classification scenarios.

연구 동기 및 목표

• 데이터 증강에 의해 발생하는 큰 분포 이탈에도 불구하고 레이블 불변성 조건을 강제하는 표준 데이터 증강 기법의 한계를 해결하기 위해.
• 증강된 데이터로부터 원본 레이블과 자기지도 레이블의 공동 분포를 학습하여 모델의 일반화 성능을 향상시키기 위해.
• 증강된 시각들로부터 지식을 주 모델로 이전시켜 추론 집합 속도를 높이기 위해 자기 정규화를 통해 추론 집합을 가속화하기 위해.
• 소수의 샘플과 불균형 분류와 같은 도전적인 지도 학습 설정에서의 효과성을 입증하기 위해.

제안 방법

• 증강된 샘플의 원본 레이블과 자기지도 예측을 함께 모델링하는 공동 학습 프레임워크를 제안한다.
• 회전 예측과 같은 자기지도 신호를 사용하여 증강된 시각에 대한 보조 지도 신호를 생성한다.
• 증강된 시각에서 주 모델로 지식을 이전시키는 지식 정규화 메커니즘을 도입하여 추론 속도를 향상시킨다.
• 공동 모델을 사용해 여러 증강된 샘플의 예측을 집계하여 더 견고한 성능을 확보한다.
• 원본 지도 신호와 자기지도 지도 신호를 결합한 복합 손실을 사용해 모델을 종합적으로 훈련한다.
• 추론 시에 입력 하나당 단일 프로퍼게이션을 사용하여 증강된 시각에서 유래한 지식을 주 네트워크로 정규화한다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의해 발생하는 분포 이탈 상황에서 원본 레이블과 자기지도 레이블의 공동 학습이 모델의 일반화 성능 향상에 기여하는가?
• RQ2 자기 정규화가 증강된 데이터로부터의 성능 향상을 유지하면서 추론 효율성을 어떻게 향상시키는가?
• RQ3 제안된 프레임워크가 소수의 샘플과 불균형 분류에서 표준 증강 기법(레이블 불변성)을 초월하는가?
• RQ4 자기지도 학습이 큰 증강 유도 분포 이탈이 초래하는 부정적 영향을 어느 정도 완화하는가?

주요 결과

• 원본 레이블과 자기지도 레이블의 공동 학습 프레임워크는 특히 분포 이탈 상황에서 표준 증강 기법보다 뛰어난 성능을 기록한다.
• 자기 정규화를 통해 증강된 시각에서 유래한 지식을 주 모델로 이전함으로써 다중 프로퍼게이션 없이도 빠른 추론이 가능해진다.
• 데이터 부족이 증강의 효과를 극대화하는 소수의 샘플 학습 환경에서 일관된 성능 향상이 나타난다.
• 불균형 분류 작업에서는 자기지도 신호를 활용함으로써 소수 클래스의 성능 저하를 줄일 수 있다.
• 다양한 데이터셋과 백본 아키텍처에서 효과적이며, 넓은 적용 가능성을 보여준다.