[논문 리뷰] Learning Data Manipulation for Augmentation and Weighting

Zhiting Hu, Bowen Tan외 3명|arXiv (Cornell University)|2019. 10. 28.

Machine Learning and Data Classification인용 수 71

한 줄 요약

요약: 이 논문은 데이터 보상(data reward)을 매개화하고 데이터 조작 기술(증강 및 가중화)을 학습하는 단일한 gradient 기반 프레임워크를 제시하며, 데이터를 자동으로 조작하고 이를 통해 모델 매개변수와 조작 매개변수를 공동으로 최적화하여, 저데이터 및 불균형 설정에서 텍스트 및 이미지 태스크의 베이스라인보다 우수한 성능을 보입니다.

ABSTRACT

Manipulating data, such as weighting data examples or augmenting with new instances, has been increasingly used to improve model training. Previous work has studied various rule- or learning-based approaches designed for specific types of data manipulation. In this work, we propose a new method that supports learning different manipulation schemes with the same gradient-based algorithm. Our approach builds upon a recent connection of supervised learning and reinforcement learning (RL), and adapts an off-the-shelf reward learning algorithm from RL for joint data manipulation learning and model training. Different parameterization of the "data reward" function instantiates different manipulation schemes. We showcase data augmentation that learns a text transformation network, and data weighting that dynamically adapts the data sample importance. Experiments show the resulting algorithms significantly improve the image and text classification performance in low data regime and class-imbalance problems.

연구 동기 및 목표

• 저데이터 및 불균형 설정에서 학습을 개선하기 위한 자동화된 데이터 조작의 동기 부여.
• 데이터 조작을 매개화하는 통합 보상 기반 프레임워크를 제안.
• 텍스트 증강 및 데이터 가중치 부여에 대한 구현 예시를 보여준다.
• 텍스트 및 이미지 태스크에서 강력한 베이스라인 대비 경험적 개선을 보여준다.
• 다른 조작 방식으로 확장할 수 있는 유연성을 강조한다.

제안 방법

• 데이터 조작을 R_phi(x,y|D)로 매개화된 보상으로 형식화하여 감독 학습 목적을 수정한다.
• 모델 매개변수 theta와 조작 매개변수 phi를 함께 업데이트하기 위해 EM 유사 gradient 기반 보상 학습을 사용한다.
• 레이블에 조건부로 단어를 대체하는 텍스트 증강 네트워크를 학습하여 데이터를 증강한다.
• 학습된 각 샘플 가중치 phi를 훈련 샘플에 할당하여 데이터 가중치를 학습한다.
• 최종 외재 성능을 극대화하기 위해 보유한 검증 세트에서 조작 매개변수를 최적화한다.
• θ 업데이트(Eq. 7)와 φ 업데이트(Eq. 8)를 교대로 수행하는 통합 알고리즘( Algorithm 1 )을 제공한다.

실험 결과

연구 질문

• RQ1 단일 gradient 기반 프레임워크가 reward 매개화를 통해 여러 데이터 조작 방식들을 지원할 수 있는가?
• RQ2 학습된 증강 및 가중치가 저데이터 및 불균형 설정에서 텍스트 및 이미지 분류의 성능을 향상시키는가?
• RQ3 실제에서 조작이 대형 사전학습 모델(예: BERT, ResNet)과 어떻게 상호작용하는가?
• RQ4 태스크 및 데이터 양상에 따라 증강 대 가중치의 비교 우위는 무엇인가?

주요 결과

모델	SST-5 (40+2)	IMDB (40+5)	TREC (40+5)
Base model: BERT	33.32±4.04	63.55±5.35	88.25±2.81
Base model + val-data	35.86±3.03	63.65±3.32	88.42±4.90
Augment: Synonym	32.45±4.59	62.68±3.94	88.26±2.76
Fixed augmentation [49]	34.84±2.76	63.65±3.21	88.28±4.50
Ours: Fine-tuned augmentation	37.03±2.05	65.62±3.32	89.15±2.41

• 매개화된 보상을 통한 데이터 조작이 기본 모델 및 이전의 조작 방법에 비해 정확도를 크게 향상시킨다.
• 미세 조정된 텍스트 증강은 저데이터 텍스트 태스크에서 고정 증강 및 동의어 기반 접근법을 일관되게 능가한다.
• 데이터 가중치는 베이스라인 대비 개선을 보이고 최근 재가중 방법을 능가하며 특히 심한 클래스 불균형하에서 우수하다.
• 증강은 저데이터 시나리오에서 더 큰 도움을 주는 경향이 있고, 가중치는 표기 불균형을 더 잘 해결한다.
• 통합 프레임워크는 SST-5, IMDB, TREC(텍스트), 및 CIFAR-10(이미지)에서 ResNet-34로 이득을 달성한다.