[논문 리뷰] Learning to Compose Domain-Specific Transformations for Data Augmentation

Alexander Ratner, Henry R. Ehrenberg외 3명|arXiv (Cornell University)|2017. 09. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 5인용 수 183

한 줄 요약

본 논문은 데이터 증가를 위한 도메인 특화적이고 사용자가 제공한 변환 함수(TF)를 GAN과 유사한 목표 및 강화 학습으로 학습된 생성 시퀀스 모델을 통해 자동화하고, 이미지 및 텍스트 작업 전반에서 최종 모델 성능을 향상시킨다.

ABSTRACT

Data augmentation is a ubiquitous technique for increasing the size of labeled training sets by leveraging task-specific data transformations that preserve class labels. While it is often easy for domain experts to specify individual transformations, constructing and tuning the more sophisticated compositions typically needed to achieve state-of-the-art results is a time-consuming manual task in practice. We propose a method for automating this process by learning a generative sequence model over user-specified transformation functions using a generative adversarial approach. Our method can make use of arbitrary, non-deterministic transformation functions, is robust to misspecified user input, and is trained on unlabeled data. The learned transformation model can then be used to perform data augmentation for any end discriminative model. In our experiments, we show the efficacy of our approach on both image and text datasets, achieving improvements of 4.0 accuracy points on CIFAR-10, 1.4 F1 points on the ACE relation extraction task, and 3.4 accuracy points when using domain-specific transformation operations on a medical imaging dataset as compared to standard heuristic augmentation approaches.

연구 동기 및 목표

• 라벨링 데이터가 한정된 상황에서 도메인 불변성을 활용하는 방법으로 데이터 증가의 필요성을 제기한다.
• 사용자가 제공한(때로는 비결정적일 수도 있는) 변환 함수(TF)들을 구성하는 생성 시퀀스 모델을 제안한다.
• 모든 TF가 클래스 라벨을 보존한다는 가정을 완화하고 비라벨 데이터로부터의 학습을 가능하게 한다.
• 변환된 데이터가 무효 분포(null distribution)로 매핑되는 것을 최소화하면서 다양하고 유용한 변환을 장려하기 위해 GAN에서 영감을 받은 목표를 사용한다.
• 이미지와 텍스트 도메인 전반에서 강건한 성능 향상을 통해 효과를 보임을 시연한다.

제안 방법

• 데이터 포인트에 작용하는 점진적이고 사용자 지정된 TF들의 시퀀스로 증강을 표현한다.
• TF를 블랙박스이자 미분 불가능한 함수로 취급하고 시퀀스를 생성기 G_theta의 출력으로 모델링한다.
• 변환된 데이터와 분포 내 데이터의 구별을 하는 D_emptyset 판별기를 갖는 GAN 유사 목표로 G_theta를 학습시킨다.
• 퇴행적이거나 반복적인 TF 시퀀스를 억제하기 위한 다양성 목표를 포함한다.
• 비미분 가능한 TF와확률적 변환을 다루기 위해 정책 기울기(policy gradient)를 사용하는 강화 학습으로 학습을 형식화한다.
• 두 가지 생성기 아키텍처를 제공한다: mean-field independent model와 LSTM-based stateful sequence model.

실험 결과

연구 질문

• RQ1 도메인 전문가가 변환 함수(TF)를 통해 불변성을 인코딩하고 모델이 데이터 증강을 위한 이러한 TF의 효과적인 조합을 학습하도록 할 수 있는가?
• RQ2 라벨이 없는 데이터를 사용해 분포 밖(out-of-distribution) 데이터를 생성하지 않는 TF 시퀀스 생성기를 학습시킬 수 있는가?
• RQ3 특히 순차적/의존적 구조를 갖는 TF 시퀀스를 모델링하는 것이 모달리티 간 간단한 휴리스틱 증강 대비 이득을 제공하는가?
• RQ4 실무에서 잘못 지정되었거나 상충하는 TF에 대해 접근 방식의 견고성은 어느 정도인가?

주요 결과

• 본 방법은 MNIST, CIFAR-10, ACE 관계 추출, DDSM 유방촬영술 작업에서 휴리스틱 증강보다 개선을 보인다.
• LSTM 기반 TF 시퀀스 모델이 일반적으로 mean-field independent model 보다 우수하며, 순차 구조의 가치를 강조한다.
• CIFAR-10(10% 부분샘플)에서 본 접근법은 휴리스틱 증강 대비 4.0 정확도 포인트 증가를 달성하고 준지도 GAN과 경쟁한다.
• ACE에서 휴리스틱 증강 대비 1.4 F1 포인트 향상을 달성한다.
• 유방촬영(DDSM)에서 도메인 특화 분할 기반 TF를 포함하면 개선이 나타나며, LSTM 모델이 가장 큰 이득을 달성한다.
• 제시된 방법은 잘못 지정된 TF에 대한 견고성을 보이며, 학습된 TF 빈도가 비효과적 연산자를 피한다.