[논문 리뷰] Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach

Kaiwen Yang, Yanchao Sun외 6명|arXiv (Cornell University)|2022. 11. 02.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 표현 학습 원칙에 기반한 도메인 무관 데이터 증강 방법인 레이블 유지형 적대적 오토증강(LP-A3)을 제안한다. 이 방법은 중간 모델 특징에서의 지각 거리를 최적화하면서도 레이블을 유지함으로써 어려운 양성 예제를 생성한다. 수동으로 정의된 증강 기법이나 추가 생성 모델이 필요 없이, 감독 학습, 준감독 학습, 노이즈 레이블 학습 전반에서 일관된 성능 향상을 달성한다.

ABSTRACT

Data augmentation is a critical contributing factor to the success of deep learning but heavily relies on prior domain knowledge which is not always available. Recent works on automatic data augmentation learn a policy to form a sequence of augmentation operations, which are still pre-defined and restricted to limited options. In this paper, we show that a prior-free autonomous data augmentation's objective can be derived from a representation learning principle that aims to preserve the minimum sufficient information of the labels. Given an example, the objective aims at creating a distant "hard positive example" as the augmentation, while still preserving the original label. We then propose a practical surrogate to the objective that can be optimized efficiently and integrated seamlessly into existing methods for a broad class of machine learning tasks, e.g., supervised, semi-supervised, and noisy-label learning. Unlike previous works, our method does not require training an extra generative model but instead leverages the intermediate layer representations of the end-task model for generating data augmentations. In experiments, we show that our method consistently brings non-trivial improvements to the three aforementioned learning tasks from both efficiency and final performance, either or not combined with strong pre-defined augmentations, e.g., on medical images when domain knowledge is unavailable and the existing augmentation techniques perform poorly. Code is available at: https://github.com/kai-wen-yang/LPA3}{https://github.com/kai-wen-yang/LPA3.

연구 동기 및 목표

• 수동으로 정의된 연산자나 도메인 특화 지식에 의존하지 않는 자율적인 데이터 증강 방법을 개발하는 것.
• 레이블에 필요한 최소한의 정보를 유지하는 표현 학습 원칙에 기반한 최적화 목표를 도출하는 것.
• 실시간 증강 생성을 위한 중간층 표현을 활용한 실용적이고 효율적인 대체 목표를 만드는 것.
• 기존 머신 러닝 파이프라인에 쉽게 통합되어 감독 학습, 준감독 학습, 노이즈 레이블 학습에 활용될 수 있도록 하는 것.
• 특히 자원이 부족하거나 도메인 이동이 발생하는 상황(예: 의료 영상)에서 학습 효율성과 최종 모델 성능을 향상시키는 것.

제안 방법

• 원본 입력에서의 지각 거리를 최대화하면서도 증강된 샘플에 대한 모델 예측을 유지하는 증강을 생성하기 위한 목표를 수립한다.
• 데이터 가능성 추정과 레이블 유지 강제 조건을 위해 중간층 특징에서의 지각 거리를 바탕으로 한 대체 목표를 사용한다.
• 라그랑주 승화를 통해 최적화를 해결함으로써 표준 역전파를 사용한 엔드 투 엔드 학습이 가능해진다.
• 예측의 날카기성 기반 기준이 가장 정보가 많은 샘플들만 선택하여 계산 비용을 줄인다.
• 추가로 학습된 생성 모델이 필요 없이 최종 작업 모델의 내부 표현을 활용한다.
• 기존 방법과 호환되며 아키텍처 변경 없이 다양한 학습 철학에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 사전에 정의된 연산자나 도메인 지식에 의존하지 않고 데이터 증강을 완전히 자동화할 수 있는가?
• RQ2 레이블 정보를 유지하면서 표현 다양성을 극대화하는 작업 지식 기반 증강을 어떻게 생성할 수 있는가?
• RQ3 추가 모델 없이도 중간층 표현 기반의 대체 목표가 증강 생성을 효과적으로 이끌 수 있는가?
• RQ4 제안된 방법이 다양한 학습 환경에서 학습 효율성과 최종 성능을 향상시키는가?
• RQ5 레이블 유지 마진 σ와 데이터 선택 비율과 같은 하이퍼파라미터 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• LP-A3는 감독 학습, 준감독 학습, 노이즈 레이블 학습을 포함한 모든 평가된 작업에서 일관되게 성능 향상을 보이며, 도메인 특화 증강 규칙이 필요하지 않다.
• MedMNIST에서 LP-A3는 OctMNIST에서 1% 이상의 정확도 향상을 기록했고, 의료 영상에서 실패하는 RandAugment보다도 최고 성능을 기록했다.
• 증강 선택에 30%의 데이터만 사용해도 최고 성능를 달성했으며, MedMNIST에서 ≥2%의 향상이 있었고, 이는 높은 샘플 효율성을 보여준다.
• 하이퍼파라미터 선택에 대해 강인하다: 레이블 유지 마진 σ에 대해 역 U자형 성능 곡선이 나타나 값에 관계없이 안정성이 높음을 확인했다.
• ResNet-18과 ResNet-50 모두에서 MedMNIST의 10개 데이터셋인 PathMNIST, DermaMNIST, OrganSMNIST 등에서 베이스라인을 모두 초월하며 일관된 성능 향상을 기록했다.
• 강력한 사전 정의된 증강 기법인 RandAugment와 조합해도 최종 정확도와 학습 효율성에서 뚜렷한 향상을 보였다.