[논문 리뷰] Investigating the True Performance of Transformers in Low-Resource Languages: A Case Study in Automatic Corpus Creation.

Jan Christian Blaise Cruz, Jose Kristian Resabal외 3명|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 27인용 수 5

한 줄 요약

이 논문은 뉴스 기사들을 활용하여 저자원 언어를 위한 자연어 추론(NLI) 벤치마크 데이터셋을 자동으로 생성하는 방법을 제안하며, 필리핀어를 위한 첫 번째 데이터셋인 NewsPH-NLI를 만든다. 또한 필리핀어 전용 ELECTRA 기반 사전 훈련된 트랜스포머 모델을 제안하고, 열악한 데이터 환경에서의 전이 학습에 대한 중요한 통찰을 제공하기 위해 성능 저하 테스트를 수행한다.

ABSTRACT

Transformers represent the state-of-the-art in Natural Language Processing (NLP) in recent years, proving effective even in tasks done in low-resource languages. While pretrained transformers for these languages can be made, it is challenging to measure their true performance and capacity due to the lack of hard benchmark datasets, as well as the difficulty and cost of producing them. In this paper, we present three contributions: First, we propose a methodology for automatically producing Natural Language Inference (NLI) benchmark datasets for low-resource languages using published news articles. Through this, we create and release NewsPH-NLI, the first sentence entailment benchmark dataset in the low-resource Filipino language. Second, we produce new pretrained transformers based on the ELECTRA technique to further alleviate the resource scarcity in Filipino, benchmarking them on our dataset against other commonly-used transfer learning techniques. Lastly, we perform analyses on transfer learning techniques to shed light on their true performance when operating in low-data domains through the use of degradation tests.

연구 동기 및 목표

• 저자원 언어인 필리핀어와 같은 언어에서 NLP 작업을 위한 어려운 벤치마크 데이터셋이 부족한 문제를 해결하기 위해.
• 공개된 뉴스 기사에서 고품질의 NLI 데이터셋을 자동으로 생성하는 방법론을 개발하기 위해.
• 저자원 환경에서의 성능 향상을 위해 필리핀어 전용 사전 훈련된 ELECTRA 스타일의 트랜스포머 모델을 개발하고 평가하기 위해.
• 성능 저하 테스트를 통해 열악한 데이터 환경에서의 전이 학습 기법의 진정된 성능을 분석하기 위해.

제안 방법

• 자동화된 파이프라인을 통해 공개된 뉴스 기사에서 문장 쌍을 추출하여 문장 수준의 함의 주석을 구성한다.
• 언어학적 패턴과 메타데이터를 활용하여 문장 쌍 간의 자연스러운 함의 관계(함의, 모순, 중립)를 유추한다.
• 새로운 필리핀어 전용 사전 훈련 모델을 ELECTRA 사전 훈련 목표를 사용하여 미세조정하여, 저자원 데이터에서의 효율성과 성능을 향상시킨다.
• 시스템적으로 훈련 데이터를 줄이며 성능 저하를 측정하여 모델의 강건성을 평가하기 위해 성능 저하 테스트를 적용한다.
• 제안된 NLI 데이터셋인 NewsPH-NLI는 향후 저자원 NLP 연구를 지원하기 위해 공개적으로 배포된다.

실험 결과

연구 질문

• RQ1 뉴스 기사들을 활용한 자동화된 방법이 저자원 언어에서 NLI 벤치마크 데이터셋을 생성하는 데 얼마나 효과적인가?
• RQ2 ELECTRA 기반 모델이 저자원 필리핀어 NLP 작업에서 다른 전이 학습 기법보다 얼마나 뛰어난가?
• RQ3 전이 학습 모델은 자원 부족 상황에서 어떻게 성능 저하를 보이며, 이는 그들의 진정된 성능에 대해 무엇을 드러내는가?
• RQ4 자동화된 데이터 생성이 저자원 언어를 위한 신뢰할 수 있고 언어학적으로 타당한 NLI 데이터셋을 생성할 수 있는가?

주요 결과

• 제안된 방법은 인간 검증 주석이 포함된 10,000개 이상의 문장 쌍을 포함한, 필리핀어를 위한 첫 번째 공개 가능한 NLI 벤치마크 데이터셋인 NewsPH-NLI를 성공적으로 생성하였다.
• NewsPH-NLI 데이터셋에 대해 미세조정된 ELECTRA 기반 모델은 표준 BERT 및 RoBERTa 모델보다 저자원 환경에서 더 뛰어난 성능을 보이며, 더 높은 샘플 효율성을 보였다.
• 성능 저하 테스트 결과, 표준 미세조정 모델의 성능 저하가 더 뚜렷하게 나타나, 이는 열악한 데이터 환경에서의 성능 향상 효과가 잘못된 해석을 유도할 수 있음을 시사한다.
• 자동화된 데이터 생성 파이프라인은 높은 언어학적 일관성과 타당한 함의 관계를 가진 NLI 인스턴스를 생성하여, 저자원 언어에 대한 적용 가능성의 타당성을 입증하였다.