[논문 리뷰] Text Data Augmentation Made Simple By Leveraging NLP Cloud APIs

Claude Coulombe|arXiv (Cornell University)|2018. 12. 05.

Natural Language Processing Techniques참고 문헌 7인용 수 36

한 줄 요약

이 논문은 자연어 처리에서 '빅 데이터 벽'을 극복하기 위해 NLP 클라우드 API를 활용한 실용적이고 확장 가능한 텍스트 데이터 증강 프레임워크를 제안한다. 특히 자원이 적은 상황에서 효과적이다. 백트랜스레이션, 구문 트리 변환, 어휘 교체와 같은 기법을 적용함으로써, 텍스트 극성 분류 작업에서 모델 정확도를 4.3%에서 21.6%까지 향상시켰으며, 단지 5배의 데이터 증강 비율에도 불구하고 성능 향상이 이루어졌다.

ABSTRACT

In practice, it is common to find oneself with far too little text data to train a deep neural network. This "Big Data Wall" represents a challenge for minority language communities on the Internet, organizations, laboratories and companies that compete the GAFAM (Google, Amazon, Facebook, Apple, Microsoft). While most of the research effort in text data augmentation aims on the long-term goal of finding end-to-end learning solutions, which is equivalent to "using neural networks to feed neural networks", this engineering work focuses on the use of practical, robust, scalable and easy-to-implement data augmentation pre-processing techniques similar to those that are successful in computer vision. Several text augmentation techniques have been experimented. Some existing ones have been tested for comparison purposes such as noise injection or the use of regular expressions. Others are modified or improved techniques like lexical replacement. Finally more innovative ones, such as the generation of paraphrases using back-translation or by the transformation of syntactic trees, are based on robust, scalable, and easy-to-use NLP Cloud APIs. All the text augmentation techniques studied, with an amplification factor of only 5, increased the accuracy of the results in a range of 4.3% to 21.6%, with significant statistical fluctuations, on a standardized task of text polarity prediction. Some standard deep neural network architectures were tested: the multilayer perceptron (MLP), the long short-term memory recurrent network (LSTM) and the bidirectional LSTM (biLSTM). Classical XGBoost algorithm has been tested with up to 2.5% improvements.

연구 동기 및 목표

• 소수어 및 자원이 적은 언어에서의 훈련 데이터 부족 문제를 해결한다.
• 저자원 환경에서 딥 뉴럴 네트워크 성능을 제한하는 '빅 데이터 벽'을 극복한다.
• 외부 NLP API를 활용한 실용적이고 확장 가능하며 쉽게 구현할 수 있는 데이터 증강 파이프라인을 개발한다.
• 표준화된 텍스트 분류 벤치마크에서 다양한 텍스트 증강 기법의 효과를 평가한다.
• 종합적인 엔드 투 엔드 훈련 없이도 API 기반 증강이 모델 정확도를 크게 향상시킬 수 있음을 입증한다.

제안 방법

• NLP 클라우드 API를 활용해 텍스트 증강 기법을 구현함으로써 강건성과 확장성을 확보한다.
• 다국어 모델을 사용해 백트랜스레이션을 적용하여 유사어 문장 생성을 수행한다.
• 구문 트리 변환을 통해 의미는 유사하지만 구조가 다른 문장을 생성한다.
• 어휘 교체를 위해 워드 임베딩을 활용해 단어를 동의어로 대체한다.
• 기준선 비교를 위해 노이즈 주입 및 정규표현식 기반 변환을 구현한다.
• 모든 증강 기법을 훈련 데이터 전반에 동일한 5배 증폭 비율로 적용한다.

실험 결과

연구 질문

• RQ1 NLP 클라우드 API는 자원이 적은 NLP 작업에 대해 효과적이고 확장 가능하며 쉽게 배포 가능한 텍스트 데이터 증강을 가능하게 할 수 있는가?
• RQ2 다양한 텍스트 증강 기법은 표준화된 텍스트 분류 작업에서 모델 정확도 향상에 어떻게 비교될 수 있는가?
• RQ3 단지 5배의 증폭 비율로도 저자원 환경에서 딥 러닝 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ4 어떤 증강 기법 조합이 가장 일관되고 뚜렷한 정확도 향상을 가져오는가?
• RQ5 API 기반 증강은 전통적인 방법들인 노이즈 주입이나 정규표현식 기반 변환을 능가할 수 있는가?

주요 결과

• NLP 클라우드 API를 활용한 텍스트 증강은 단지 5배의 데이터 증폭에도 불구하고 텍스트 극성 예측 작업에서 모델 정확도를 4.3%에서 21.6%까지 향상시켰다.
• 백트랜스레이션과 구문 트리 변환 기법이 특히 높은 성능 향상을 보였으며, 이는 고품질의 유사어 문장 생성을 의미한다.
• 간단한 기법들인 어휘 교체와 노이즈 주입 역시 측정 가능한 성능 향상을 가져왔지만, 고급 기법들에 비해 낮은 수준이었다.
• 다층퍼셉트론(MLP), LSTM, 양방향 LSTM 모델 모두 증강 기법의 영향을 받았으며, 특히 양방향 LSTM 모델이 뛰어난 성능을 보였다.
• XGBoost 모델 역시 증강된 데이터로 훈련했을 때 최대 2.5%의 정확도 향상을 기록했으며, 다양한 모델 유형에 널리 적용 가능함을 보여주었다.
• 성능 향상의 통계적 변동성은 증강 품질과 작업 민감도의 다양성을 시사하지만, 전체적으로는 뚜렷하고 일관된 성능 향상이 관찰되었다.