[논문 리뷰] Mixup-Transfomer: Dynamic Data Augmentation for NLP Tasks

Lichao Sun, Congying Xia외 4명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 18인용 수 9

한 줄 요약

이 논문은 BERT와 같은 트랜스포머 기반 모델의 은닉 표현 공간에서 입력 시퀀스와 레이블을 선형으로 보간하는 동적 데이터 증강 방법인 Mixup-Transformer를 제안한다. 이는 GLUE 벤치마크 작업과 저자원 설정에서 뚜렷한 성능 향상을 이룩하며, 사전 학습된 언어 모델에 대해 도메인에 관계없이 효과적인 정규화 기법임을 입증한다.

ABSTRACT

Mixup is the latest data augmentation technique that linearly interpolates input examples and the corresponding labels. It has shown strong effectiveness in image classification by interpolating images at the pixel level. Inspired by this line of research, in this paper, we explore i) how to apply mixup to natural language processing tasks since text data can hardly be mixed in the raw format; ii) if mixup is still effective in transformer-based learning models, e.g., BERT. To achieve the goal, we incorporate mixup to transformer-based pre-trained architecture, named mixup-transformer, for a wide range of NLP tasks while keeping the whole end-to-end training system. We evaluate the proposed framework by running extensive experiments on the GLUE benchmark. Furthermore, we also examine the performance of mixup-transformer in low-resource scenarios by reducing the training data with a certain ratio. Our studies show that mixup is a domain-independent data augmentation technique to pre-trained language models, resulting in significant performance improvement for transformer-based models.

연구 동기 및 목표

• 텍스트의 이산적이고 비가속도적인 성격에도 불구하고 컴퓨터 비전에서 효과적인 mixup이 자연어 처리에 어떻게 적용될 수 있는지 조사하기 위해.
• BERT와 같은 트랜스포머 기반 사전 학습된 언어 모델 내부에 mixup을 적용하는 가능성과 효과성을 탐색하기 위해.
• 표준 NLP 벤치마크, 특히 GLUE 벤치마크에서 표준 및 저자원 학습 조건 하에서 Mixup-Transformer의 성능을 평가하기 위해.
• mixup가 사전 학습된 언어 모델에 대해 도메인에 관계없이 정규화 기법으로 작용하는지 확인하기 위해.

제안 방법

• 이 방법은 원시 텍스트 토큰이 아닌 입력 시퀀스의 은닉 표현을 보간하여 mixup을 적용함으로써 잠재 공간에서 연속적인 보간을 가능하게 한다.
• 선형 보간 전략을 사용한다: λ × h₁ + (1−λ) × h₂, 여기서 h₁과 h₂는 두 입력 시퀀스의 은닉 표현이며, λ는 베타 분포에서 추출된 랜덤 스칼라이다.
• 레이블 또한 동일한 λ를 사용하여 보간하여, 훈련 중에 혼합 샘플에 대해 소프트 레이블을 생성한다.
• 전체 프레임워크는 아키텍처 수정 없이 표준 종단 간 훈련 파이프라인에 통합된다.
• 이 접근법은 사전 학습된 모델의 구조를 유지하면서도, 은닉 공간 혼합을 통한 전방 계산 단계에서 데이터 증강을 도입한다.

실험 결과

연구 질문

• RQ1 텍스트의 이산적이고 비가속도적인 성격을 감안할 때, mixup이 자연어 처리 작업에 효과적으로 적용될 수 있는가?
• RQ2 BERT와 같은 트랜스포머 기반 사전 학습된 모델에 mixup을 적용할 경우 성능 향상이 이루어지는가?
• RQ3 mixup-Transformer는 표준 및 저자원 학습 제약 조건 하에서 GLUE와 같은 표준 NLP 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ4 mixup는 사전 학습된 언어 모델에 대해 도메인에 관계없이 정규화 기법으로 작용하는가?

주요 결과

• Mixup-Transformer는 BERT 기반 모델에 적용했을 때 GLUE 벤치마크의 여러 작업에서 뚜렷한 성능 향상을 이룬다.
• 이 방법은 특히 훈련 데이터가 특정 비율로 감소된 저자원 설정에서 모델의 일반화 능력을 끊임없이 향상시킨다.
• mixup의 성능 향상 효과는 다양한 NLP 작업에 걸쳐 관찰되며, 이는 그 도메인 독립성과 광범위한 적용 가능성의 증거이다.
• 은닉 표현 공간에서 mixup을 적용할 경우 그 효과가 유지됨을 통해, 텍스트 데이터에 대해 잠재 공간에서의 보간이 가능하고 유용함을 입증한다.