[논문 리뷰] An Empirical Survey of Data Augmentation for Limited Data Learning in NLP

Jiaao Chen, Derek Tam외 3명|arXiv (Cornell University)|2021. 06. 14.

Topic Modeling참고 문헌 67인용 수 21

한 줄 요약

이 논문은 저자원 환경에서 NLP를 위한 데이터 증강 기법에 대한 종합적인 실증 조사 결과를 제시한다. 11개의 데이터셋에서 토큰 수준, 문장 수준, 적대적, 히든 스페이스 방법을 평가하였으며, 감독 학습에서는 토큰 수준의 증강이 가장 우수한 성능을 보였고, 준감독 학습에서는 문장 수준의 증강이 뛰어난 성능을 보였다. 일부 방법은 자원 효율성 향상에도 불구하고 성능 저하를 초래할 수 있음을 발견하였다.

ABSTRACT

NLP has achieved great progress in the past decade through the use of neural models and large labeled datasets. The dependence on abundant data prevents NLP models from being applied to low-resource settings or novel tasks where significant time, money, or expertise is required to label massive amounts of textual data. Recently, data augmentation methods have been explored as a means of improving data efficiency in NLP. To date, there has been no systematic empirical overview of data augmentation for NLP in the limited labeled data setting, making it difficult to understand which methods work in which settings. In this paper, we provide an empirical survey of recent progress on data augmentation for NLP in the limited labeled data setting, summarizing the landscape of methods (including token-level augmentations, sentence-level augmentations, adversarial augmentations, and hidden-space augmentations) and carrying out experiments on 11 datasets covering topics/news classification, inference tasks, paraphrasing tasks, and single-sentence tasks. Based on the results, we draw several conclusions to help practitioners choose appropriate augmentations in different settings and discuss the current challenges and future directions for limited data learning in NLP.

연구 동기 및 목표

• 저자원 환경에서 최근의 NLP 데이터 증강 기법을 체계적으로 평가하고 분류하는 것.
• 다양한 NLP 작업에서 토큰 수준, 문장 수준, 적대적, 히든 스페이스 증강의 효과성을 비교하는 것.
• 작업 유형과 데이터 가용성에 따라 실무자들이 데이터 증강 기법을 선택하는 데 실증적 지침을 제공하는 것.
• 감독 학습 외부에서도 성능 저하를 유발할 수 있는 실패 케이스를 특정하는 것.
• 데이터 효율적인 NLP에서의 열린 과제와 향후 방향성 강조하기

제안 방법

• 본 연구는 4개의 카테고리로 나누어진 11개의 데이터 증강 기법을 평가한다: 동의어 교체, 언어 모델을 통한 단어 교체, 무작위 삽입/삭제/교체, 문장 수준 기법, 적대적 편향, 컷오프 기반 기법.
• 텍스트 분류, 자연어 추론, 복구, 단일 문장 작업을 포함하는 11개의 벤치마크 데이터셋에서 실험을 수행한다.
• GLUE 및 기타 표준 벤치마크를 사용하여, 클래스당 100개의 레이블이 있는 감독 학습 및 준감독 학습 설정을 평가한다.
• 정확도와 F1 점수를 성능 측정 지표로 사용하며, 결과는 3개의 랜덤 시드 평균화 및 95% 신뢰구간으로 보고한다.
• 20 Newsgroups와 RTE에서 25개 예시를 대상으로 사례 연구를 통해 레이블 유지 여부를 분석한다. 증강이 원래 레이블을 변경하는지 평가한다.
• 통제된 아블레이션과 정성적 분석을 통해 증강이 모델의 일반화 및 내성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터 하에서 다양한 NLP 작업에서 가장 뛰어난 성능을 내는 데이터 증강 기법은 무엇인가?
• RQ2 감독 학습과 준감독 학습 설정에서 토큰 수준과 문장 수준의 증강 수준이 모델 성능에 어떤 영향을 미치는가?
• RQ3 변환 과정에서 원래 레이블을 얼마나 잘 유지하는가? 그리고 레이블 뒤집기가 성능에 어떤 영향을 미치는가?
• RQ4 어떤 상황에서 데이터 증강 기법이 성능 향상 대신 성능 저하를 초래하는가?
• RQ5 저자원 NLP에서 현재의 데이터 증강 접근법의 주요 실패 원인과 한계는 무엇인가?

주요 결과

• 감독 학습 설정에서 토큰 수준의 증강, 예를 들어 동의어 교체나 언어 모델 기반 단어 교체 기법은 제한된 레이블 데이터 하에서도 다른 방법보다 일관되게 뛰어난 성능을 보였다.
• 준감독 학습에서는 문장 수준의 증강, 예를 들어 무작위 삽입 및 삭제 기법이 RTE 및 텍스트 분류와 같은 작업에서 가장 높은 성능을 기록하였다.
• 적대적 및 히든 스페이스 증강, 예를 들어 적대적 편향과 컷오프 기반 기법은 저자원 환경에서 자주 성능이 열등하거나 성능 저하를 초래하였다.
• RTE 데이터셋에서 언어 모델 기반 증강은 24%의 경우에서 레이블을 뒤집었으며, 이는 높은 신뢰도 예측에도 불구하고 성능 저하를 초래하였다.
• 컷오프 기반 증강은 96%의 경우에서 레이블을 유지하였고, RTE에서 가장 뛰어난 성능을 기록하였다. 이는 레이블 유지가 성공의 핵심 요소임을 시사한다.
• 놀랍게도 일부 증강 기법, 특히 언어 모델 기반 및 적대적 접근법은 준감독 학습 환경에서도 성능 저하를 유발하였다. 이는 분포 이탈 위험이 있음을 보여준다.