[논문 리뷰] Neural Data Augmentation via Example Extrapolation

Kenton Lee, Kelvin Guu외 3명|arXiv (Cornell University)|2021. 02. 02.

Topic Modeling참고 문헌 32인용 수 37

한 줄 요약

Ex2는 몇 가지 예제로부터 새로운 라벨 데이터의 합성을 위해 신경 네트워크 기반의 예시 외삽기(extrapolator)를 훈련하여, 대표되지 않는 데이터 슬라이스에서의 소샷 성능을 향상시키고 CLINC150, SNIPS, FewRel 벤치마크 전반에서 소샷 성능을 높입니다.

ABSTRACT

In many applications of machine learning, certain categories of examples may be underrepresented in the training data, causing systems to underperform on such "few-shot" cases at test time. A common remedy is to perform data augmentation, such as by duplicating underrepresented examples, or heuristically synthesizing new examples. But these remedies often fail to cover the full diversity and complexity of real examples. We propose a data augmentation approach that performs neural Example Extrapolation (Ex2). Given a handful of exemplars sampled from some distribution, Ex2 synthesizes new examples that also belong to the same distribution. The Ex2 model is learned by simulating the example generation procedure on data-rich slices of the data, and it is applied to underrepresented, few-shot slices. We apply Ex2 to a range of language understanding tasks and significantly improve over state-of-the-art methods on multiple few-shot learning benchmarks, including for relation extraction (FewRel) and intent classification + slot filling (SNIPS).

연구 동기 및 목표

• NLP 태스크에서 대표되지 않는 슬라이스가 소샷 성능 저하의 원인이라는 문제 제기.
• 같은 슬라이스의 소수 예제로부터 새로운 예시를 생성하는 신경 예시 외삽기 Ex2의 제안.
• e1:K 예제로부터 p(e|s)를 모델링하기 위해 데이터 슬라이싱과 Ex2 학습 objective를 형식화.
• 텍스트 분류, 의도-슬롯 태스크, 관계 추출에서 Ex2 데이터 증강의 실험적 이득 시연.

제안 방법

• 사용자 정의 슬라이스 함수로 학습 데이터를 슬라이스로 조직하고 소샷 vs 대샷 슬라이스를 구분합니다.
• 같은 슬라이스에서 K개의 예제로부터 보유된 예시를 이용해 서로 다른 예시의 가능도를 최대화하여 데이터가 풍부한 슬라이스를 대상으로 시퀀스-투-시퀀스 외삽기(Ex2)를 학습합니다.
• 익명화된 텍스트로 예시와 출력물을 표현하여 슬라이스 식별 leakage를 방지하고 실제 분포 학습을 촉진합니다.
• 학습된 Ex2를 이용해 대표되지 않는 슬라이스의 합성 라벨 예시를 생성하고 다운스트림 모델의 학습 데이터를 보강합니다.
• 다운스트림 모델을 T5 기반 seq2seq 학습기로 간주하고 전체 성능과 소샷 성능을 태스크별로 평가합니다.

실험 결과

연구 질문

• RQ1 Ex2가 해당 슬라이스에서 몇 가지 예제만으로도 슬라이스의 전체 분포를 효과적으로 학습할 수 있는가?
• RQ2 슬라이스 식별의 익명화가 Ex2가 슬라이스 레이블의 기억화(memorization) 너머 일반화를 돕는가?
• RQ3 예제의 수 K가 Ex2의 대표적 새 데이터 합성 능력에 어느 정도 영향을 미치는가?
• RQ4 Ex2 데이터 증강이 분류, 슬롯 채움, 관계 추출 등 서로 다른 출력 공간을 갖는 다양한 NLP 태스크에서 유익한가?

주요 결과

• Ex2는 예시가 적은 경우에도 다양한 태스크에서 강한 소샷 이득을 제공합니다. 예를 들어 CLINC150에서 전체 정확도 97.4%, 매크로 F1 96.1, 소샷 정확도 95.6%, 소샷 매크로 F1 80.4%입니다.
• SNIPS에서 Ex2는 전체 의도 정확도 97.8%, 소샷 93.5를 달성합니다; 슬롯 F1은 소샷 슬라이스에서 75.3으로 상승합니다.
• FewRel-Open에서 Ex2는 전체 정확도 78.0% 및 소샷 정확도 70.7%를 달성하며 이 설정에서 베이스라인 및 이전 최첨단 접근법을 능가합니다.
• 앱레이션(ablations)은 더 많은 예제(K 증가)와 슬라이스 레이블의 익명화가 소샷 성능을 향상시키는 반면, 월드-지식 프리트레이닝(T5)이 Ex2의 효과적인 수행에 결정적임을 보여줍니다.
• 사전학습된 Ex2 모델(T5-XL 등)은 무작위로 초기화된 모델보다 현저히 우수하며, 확장에서 월드 지식의 대규모 사전학습의 중요성을 강조합니다.