[논문 리뷰] BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context

Jean-Philippe Corbeil, Hadi Abdi Ghadivel|arXiv (Cornell University)|2020. 09. 25.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 트랜스포머 기반 모델에서의 동의어 식별 성능 향상을 위한 간단하면서도 효과적인 데이터 증강 방법인 BET(Backtranslation-based Text Augmentation)을 제안한다. 다양한 언어군에 속하는 10개의 중간 언어를 활용해 구글 번역기를 활용함으로써 BET는 합성된 동의어를 생성하며, MRPC, Quora, TPC 데이터셋에서 F1과 정확도가 각각 3% 이상 향상되어 특히 100개의 샘플만으로 이루어진 저자료 환경에서도 뛰어난 성능 향상을 보인다.

ABSTRACT

Newly-introduced deep learning architectures, namely BERT, XLNet, RoBERTa and ALBERT, have been proved to be robust on several NLP tasks. However, the datasets trained on these architectures are fixed in terms of size and generalizability. To relieve this issue, we apply one of the most inexpensive solutions to update these datasets. We call this approach BET by which we analyze the backtranslation data augmentation on the transformer-based architectures. Using the Google Translate API with ten intermediary languages from ten different language families, we externally evaluate the results in the context of automatic paraphrase identification in a transformer-based framework. Our findings suggest that BET improves the paraphrase identification performance on the Microsoft Research Paraphrase Corpus (MRPC) to more than 3% on both accuracy and F1 score. We also analyze the augmentation in the low-data regime with downsampled versions of MRPC, Twitter Paraphrase Corpus (TPC) and Quora Question Pairs. In many low-data cases, we observe a switch from a failing model on the test set to reasonable performances. The results demonstrate that BET is a highly promising data augmentation technique: to push the current state-of-the-art of existing datasets and to bootstrap the utilization of deep learning architectures in the low-data regime of a hundred samples.

연구 동기 및 목표

• 특히 저자료 환경에서의 NLP 데이터셋의 일반화 능력과 고정된 크기 문제를 해결한다.
• 큰 레이블이 부여된 데이터셋이 필요 없이 트랜스포머 기반 모델의 성능 향상을 위한 저비용이고 확장 가능한 데이터 증강 기법을 탐색한다.
• 백트랜스레이션을 동의어 식별 작업에 대한 데이터 증강 전략으로서의 효과성을 조사한다.
• BET가 MRPC, Quora, TPC와 같은 벤치마크 데이터셋에서 최소한의 학습 데이터로도 모델 성능을 크게 향상시킬 수 있음을 입증한다.
• 향후 저자료 NLP 시나리오 연구를 지원하기 위해 재현 가능한 증강 데이터셋을 제공한다.

제안 방법

• 다양한 언어군에 속하는 10개의 중간 언어를 활용해 Google 번역 API를 사용해 백트랜스레이션을 적용하여 합성된 동의어를 생성한다.
• 백트랜스레이션 파이프라인을 사용한다: 원본 문장 → 중간 언어로 번역 → 원본 언어로 다시 번역하여 증강된 동의어를 생성한다.
• 원본 문장과 정확히 일치하는지 여부를 필터링하여 중복을 방지하고 의미의 정확성을 유지한다.
• BERT, XLNet, RoBERTa, ALBERT의 네 가지 트랜스포머 모델을 원본 데이터셋과 증강된 데이터셋 모두에서 학습하고 평가한다.
• MRPC, Quora, TPC 데이터셋에서 정확도, F1, 정밀도, 재현율 등 다양한 지표를 바탕으로 성능을 체계적으로 평가한다.
• 100개의 균형 잡힌 샘플으로 구성된 다운샘플된 데이터셋을 대상으로 추론 실험을 수행해 저자료 환경에서의 성능 효과를 평가한다.

실험 결과

연구 질문

• RQ1 백트랜스레이션 기반 데이터 증강 기법이 트랜스포머 기반 모델의 동의어 식별 작업 성능을 크게 향상시킬 수 있는가?
• RQ2 100개의 학습 샘플(클래스당)만으로도 BET가 저자료 환경에서 효과적인가?
• RQ3 모델, 데이터셋, 중간 언어의 조합 중에서 성능 향상이 가장 큰 조합은 무엇인가?
• RQ4 다양한 언어군에 속하는 다수의 중간 언어를 사용할 경우, 단일 언어를 사용하는 것보다 데이터 증강 품질이 향상되는가?
• RQ5 기존의 다른 데이터 증강 기법과 비교했을 때, BET는 표준 NLP 벤치마크에서 성능 향상 측면에서 어떤가?

주요 결과

• BET는 전체 MRPC 데이터셋에서 F1 점수를 3% 이상 향상시켰으며, 이와 함께 정확도도 상승하여 뚜렷한 성능 향상을 보였다.
• 다운샘플된 Quora 데이터셋(100개 샘플)에서 BET는 기준 모델의 F1 점수 0.524에서 아랍어를 중간 언어로 사용한 ALBERT의 경우 0.649로 향상시켜 저자료 환경에서도 뚜렷한 성능 향상을 보였다.
• TPC 데이터셋은 성능 향상의 가장 큰 여유를 보였으며, 일부 경우에서 F1 점수 향상이 0.2를 초과했고, 특히 BERT와 XLNet에서 두드러졌다.
• RoBERTa 모델은 다운샘플된 Quora 데이터셋에서 가장 높은 재현율 향상(최대 1.000)을 보였지만, 정밀도 손실로 인해 F1 점수가 하락하여 성능 지표 간의 상충 관계를 보였다.
• 다양한 언어군에 속하는 여러 중간 언어(예: 아랍어, 베트남어, 스페인어, 요르وبا어, 중국어)를 사용할 경우, 단일 언어에 의존하는 것보다 더 다양하고 효과적인 증강이 가능했다.
• 저자료 환경에서는 F1 점수가 0.0이었던 실패한 모델들이 BET를 통해 F1 > 0.5 수준의 합리적인 성능을 달성하는 등, 저자원 NLP 응용 분야의 부트스트랩 가능성 잠재력을 입증했다.