[논문 리뷰] Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks

Lichao Sun, Congying Xia외 4명|arXiv (Cornell University)|2020. 10. 05.

Multimodal Machine Learning Applications인용 수 23

한 줄 요약

이 논문은 BERT와 같은 트랜스포머 기반 모델의 히든 표현 수준에서 믹스업을 적용하는 동적 데이터 증강 방법인 Mixup-Transformer를 제안한다. 이는 다양한 NLP 작업에서 성능 향상을 이룬다. 훈련 중 최종 히든 상태와 해당 레이블을 선형으로 보간함으로써 일관된 정확도 향상을 달성하며, 특히 자원이 부족한 환경에서 두드러진 성능 향상을 보이며, 사전 학습된 언어 모델에 대해 믹스업이 도메인 독립적이고 엔드 투 엔드로 훈련 가능한 기법임을 입증한다.

ABSTRACT

Mixup is the latest data augmentation technique that linearly interpolates input examples and the corresponding labels. It has shown strong effectiveness in image classification by interpolating images at the pixel level. Inspired by this line of research, in this paper, we explore i) how to apply mixup to natural language processing tasks since text data can hardly be mixed in the raw format; ii) if mixup is still effective in transformer-based learning models, e.g., BERT. To achieve the goal, we incorporate mixup to transformer-based pre-trained architecture, named "mixup-transformer", for a wide range of NLP tasks while keeping the whole end-to-end training system. We evaluate the proposed framework by running extensive experiments on the GLUE benchmark. Furthermore, we also examine the performance of mixup-transformer in low-resource scenarios by reducing the training data with a certain ratio. Our studies show that mixup is a domain-independent data augmentation technique to pre-trained language models, resulting in significant performance improvement for transformer-based models.

연구 동기 및 목표

• 원시 텍스트는 선형 보간이 불가능한데도 불구하고, 컴퓨터 비전에서 효과적인 믹스업이 자연어 처리 분야에 어떻게 적용될 수 있는지 조사하기 위해.
• 최신 트랜스포머 기반 모델인 BERT와 같은 모델에 믹스업을 적용했을 때 성능 향상이 이루어지는지 탐색하기 위해.
• 원시 입력이나 고정 임베딩이 아닌 표현 수준에서 믹스업을 적용하는 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하기 위해.
• 훈련 데이터가 제한된 상황에서 믹스업-Transformer의 효과성을 평가하기 위해.
• 믹스업이 사전 학습된 언어 모델에 대해 도메인 독립적인 데이터 증강 기법임을 입증하기 위해.

제안 방법

• 방법은 사전 학습된 트랜스포머의 최종 히든 레이어에서 믹스업을 적용하며, 보간된 표현 $\hat{x} = \lambda \cdot T(x_i) + (1-\lambda) \cdot T(x_j)$ 를 사용한다. 여기서 $T(\cdot)$ 는 트랜스포머의 출력을 의미한다.
• 레이블 또한 선형 보간되며, $\hat{y} = \lambda y_i + (1-\lambda) y_j$ 로 표현된다. $\lambda \sim \text{Beta}(\alpha, \alpha)$ 또는 고정값 0.5로 설정된다.
• 믹스업 레이어는 미세조정 과정에 통합되어 외부 파ip라인이나 보조 모델이 필요 없이 엔드 투 엔드 훈련을 유지한다.
• 이 방법은 텍스트 분류 및 회귀를 포함한 여덟 가지 다양한 NLP 작업에서 GLUE 벤치마크에서 평가된다.
• 단순성 분석 결과 믹스업의 믹스업 비율 $\lambda$ 는 0.5로 설정되었으며, 이는 믹스업 비율에 민감도가 낮기 때문이다. 훈련은 표준 BERT 초모수를 사용하고 3 에포크 동안 진행된다.
• 이 방법은 BERT-base 및 BERT-large 모두에 적용되었으며, 훈련 데이터를 10%에서 90%로 줄임으로써 자원이 부족한 조건에서 테스트되었다.

실험 결과

연구 질문

• RQ1 원시 텍스트가 이산적이고 연속적이지 않은 특성을 지닌 NLP 작업에 믹스업을 효과적으로 적용할 수 있는가?
• RQ2 특히 히든 표현 수준에서 믹스업이 트랜스포머 기반 모델인 BERT와 같은 모델에 성능 향상을 줄 수 있는가?
• RQ3 약한 레이블이 부족한 자원이 부족한 NLP 환경에서 믹스업이 효과적인가?
• RQ4 다양한 NLP 작업에서 전통적인 데이터 증강 방법과 비교했을 때 믹스업의 성능 및 내구성은 어떠한가?
• RQ5 믹스업은 다양한 NLP 벤치마크와 모델 아키텍처에 걸쳐 잘 일반화되는 도메인 독립적인 기법인가?

주요 결과

• Mixup-Transformer는 GLUE 벤치마크에서 BERT-base의 16개 작업 중 14개에서 성능 향상을 이끌었으며, 평균 정확도 향상은 약 1%였다.
• 가장 큰 향상은 RTE 작업에서 관찰되었으며, BERT-base에서 정확도가 68.23%에서 71.84%로 상승하여 +3.61% 향상되었다.
• BERT-large에서는 CoLA의 마이어스 상관계수(Mattew’s correlation)가 59.71%에서 62.39%로 상승하여 +2.68% 향상되었다.
• 자원이 부족한 환경에서, 믹스업-Transformer는 훈련 데이터의 40%만 사용했을 때 MRPC에서 최대 4.90%의 성능 향상을 기록했다.
• 완전한 훈련 데이터를 사용할 때도 믹스업-Transformer는 BERT-large에서 MRPC에서 2.46%의 성능 향상을 기록했으며, 이는 데이터 스케일에 관계없이 일관된 성능 향상임을 시사한다.
• 모든 작업에서 뛰어난 내구성을 보였으며, STS-B와 하나의 MNLI 설정에서만 약간의 성능 저하가 관찰되어, 이는 믹스업 기법의 일반화 가능성에 대한 확인을 제공한다.