[논문 리뷰] KorNLI and KorSTS: New Benchmark Datasets for Korean Natural Language Understanding

Jiyeon Ham, Yo Joong Choe외 3명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 28인용 수 17

한 줄 요약

이 논문은 기계 번역을 통해 영어 학습 데이터셋을 번역하고 전문 번역가들이 개선한 개발 및 테스트 데이터셋을 활용하여 한국어 자연어 추론(NLI) 및 의미적 텍스트 유사도(STS)를 위한 공개적으로 이용 가능한 기준 데이터셋인 KorNLI와 KorSTS를 소개한다. 저자들은 다국어 모델을 사용하여 강력한 베이스라인을 수립하고, KorNLI에서의 미세조정이 KorSTS 성능을 크게 향상시킴으로써 이 데이터셋이 한국어 NLU 연구 발전에 기여할 수 있음을 보여준다.

ABSTRACT

Natural language inference (NLI) and semantic textual similarity (STS) are key tasks in natural language understanding (NLU). Although several benchmark datasets for those tasks have been released in English and a few other languages, there are no publicly available NLI or STS datasets in the Korean language. Motivated by this, we construct and release new datasets for Korean NLI and STS, dubbed KorNLI and KorSTS, respectively. Following previous approaches, we machine-translate existing English training sets and manually translate development and test sets into Korean. To accelerate research on Korean NLU, we also establish baselines on KorNLI and KorSTS. Our datasets are publicly available at https://github.com/kakaobrain/KorNLUDatasets.

연구 동기 및 목표

• 한국어를 위한 공개적으로 이용 가능한 NLI 및 STS 데이터셋 부족 문제를 해결하여 한국어 자연어 이해 분야의 발전을 저해하는 요소를 제거하기 위해.
• 기계 번역과 인간의 후속 편집을 활용하여 고품질의 한국어 NLI 및 STS 기준 데이터셋을 구축하기 위해.
• 한국어 NLU 연구의 가속화를 위해 KorNLI 및 KorSTS에 대한 기준 모델을 수립하기 위해.
• 번역 품질이 다국어 NLU 작업에서 의미 관계 보존에 미치는 영향을 평가하기 위해.
• 다양한 언어를 포함하는 NLU 연구를 촉진하기 위해 한국어 데이터를 활용한 모델 훈련 및 평가를 가능하게 하기 위해.

제안 방법

• SNLI, MNLI, XNLI, STS-B 등 기존 영어 NLI 및 STS 학습 데이터셋을 내부 신경 기계 번역 엔진을 사용해 한국어로 기계 번역한 후.
• 학술 및 기술 문서 전문 번역가들이 개발 및 테스트 데이터셋을 인간 후속 편집하여 품질과 일관성을 확보한 후.
• 다국어 사전 훈련된 모델(M-USE, XLM-R, 한국어 RoBERTa 등)을 KorNLI 및 KorSTS에 대해 미세조정하여 양방향 인코딩 및 단일 인코딩 접근 방식을 모두 적용한 후.
• 문장 임베딩 학습을 위해 시아모이드 네트워크 아키텍처와 MEAN 풀링을 사용한 Sentence-BERT의 미세조정을 적용한 후.
• Spearman 상관계수(KorSTS) 및 정확도(KorNLI)를 사용하여 모델 성능을 평가하고, KorNLI에서의 미세조정에 대한 분석 실험을 실시한 후.
• 다국어 사전 훈련만으로 훈련된 모델과 KorNLI 및 KorSTS에 추가로 미세조정된 모델을 비교하여 전이 학습의 이점을 평가한 후.

실험 결과

연구 질문

• RQ1 기계 번역에 이어 인간의 후속 편집을 거친 과정에서 한국어 NLI 작업에서의 의미 관계(논리적 함의, 모순, 중립)가 어느 정도 유지되는가?
• RQ2 기존의 다국어 모델이 새로 공개된 KorNLI 및 KorSTS 데이터셋에서 제로샷 또는 피처샷 설정에서 얼마나 효과적으로 작동하는가?
• RQ3 KorNLI에서의 미세조정이 하류 작업인 KorSTS 벤치마크 성능 향상에 기여하는가? 이는 KorNLI가 사전 훈련 또는 미세조정 자원으로서의 유용성을 시사하는가?
• RQ4 KorNLI에서 미세조정된 모델의 성능은 다국어 데이터만으로 사전 훈련된 모델과 비교해 어떻게 되는가? 특히 다국어 간 전이 학습 설정에서의 성능을 고려할 때.
• RQ5 의미 관계 유지에 영향을 미치는 번역 오류의 주요 원인은 무엇이며, 이러한 오류는 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 기계 번역된 문장과 후속 편집된 문장 간 BLEU 점수는 KorNLI의 경우 63.30, KorSTS의 경우 73.26로, 번역 품질이 매우 높아 후속 편집이 거의 필요로 하지 않았다(각각 47%와 53%의 문장이 그대로 유지됨).
• KorNLI에서의 미세조정은 항상 KorSTS 벤치마크 성능 향상에 기여했으며, 한국어 RoBERTa의 경우 +1%, XLM-R의 경우 +4~11% 향상되었고, 이는 KorNLI가 중요한 훈련 자원임을 시사한다.
• KorSTS에서 가장 높은 성능을 기록한 모델은 KorNLI와 KorSTS 양쪽에서 미세조정된 대규모 XLM-R로, Spearman 상관계수 81.84를 기록했다.
• KorNLI에서 미세조정된 XLM-R는 KorNLI 테스트 세트에서 80.3%의 정확도를 기록했으며, 이는 다른 XNLI 언어들에서의 평균 성능(80.1%)과 유사하여 다국어 간 전이 학습이 뛰어나다는 것을 입증한다.
• ‘선생님’과 같은 ‘남성’을 지칭하는 표현을 성 중립적으로 번역할 때 발생하는 번역 오류로 인해 레이블 불일치 문제가 발생했지만, 전체적으로 레이블 품질은 의미 있는 수준을 유지했으며, 이는 미세조정 시 일관된 성능 향상으로 입증되었다.
• M-USE나 SentenceBERT 기반 모델은 KorNLI에서 미세조정된 결과, fastText 및 사전 훈련된 다국어 모델보다 경쟁적인 비지도 성능을 기록했다.