[논문 리뷰] Empirical Analysis of Korean Public AI Hub Parallel Corpora and in-depth Analysis using LIWC

Chanjun Park, Midan Shim외 5명|arXiv (Cornell University)|2021. 10. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 연구는 AI Hub에서 제공하는 일곱 개의 한국-영어 병렬 코퍼스를 LIWC를 활용한 언어 분석과 Transformer 기반 NMT 모델 학습을 통해 평가한다. 영어 → 한국어 번역과 한국어 → 영어 번역 간 성능 격차가 뚜렷하게 드러나며, 코퍼스 내 도메인 불일치와 성별 편향이 확인된다. 또한 저자원 언어인 한국어를 위한 향후 고품질 병렬 코퍼스 구축을 위한 데이터 중심 개선 전략을 제안한다.

ABSTRACT

Machine translation (MT) system aims to translate source language into target language. Recent studies on MT systems mainly focus on neural machine translation (NMT). One factor that significantly affects the performance of NMT is the availability of high-quality parallel corpora. However, high-quality parallel corpora concerning Korean are relatively scarce compared to those associated with other high-resource languages, such as German or Italian. To address this problem, AI Hub recently released seven types of parallel corpora for Korean. In this study, we conduct an in-depth verification of the quality of corresponding parallel corpora through Linguistic Inquiry and Word Count (LIWC) and several relevant experiments. LIWC is a word-counting software program that can analyze corpora in multiple ways and extract linguistic features as a dictionary base. To the best of our knowledge, this study is the first to use LIWC to analyze parallel corpora in the field of NMT. Our findings suggest the direction of further research toward obtaining the improved quality parallel corpora through our correlation analysis in LIWC and NMT performance.

연구 동기 및 목표

• 공개된 AI Hub 한국-영어 병렬 코퍼스의 품질을 평가함으로써 저자원 NMT 시스템의 발전에 기여하고자 한다.
• LIWC를 통해 추출한 언어적 특징이 코퍼스 품질과 NMT 성능의 신뢰할 수 있는 지표로 기능할 수 있는지 조사하고자 한다.
• AI Hub 코퍼스 제작 과정에서 발생하는 구조적 및 언어적 결함을 특정하고, 이러한 결함이 NMT 모델 성능 저하에 기여하는지 분석하고자 한다.
• 특히 한국어와 같은 저자원 언어를 위한 향후 병렬 코퍼스 개발을 위해 데이터 중심 개선 전략을 제안하고자 한다.
• LIWC를 NMT 연구 분야에서 병렬 코퍼스 품질 평가의 새로운 도구로 활용할 수 있는 가능성과 가치를 입증하고자 한다.

제안 방법

• AI Hub에서 제공한 일곱 개의 한국-영어 병렬 코퍼스를 대상으로 LIWC 텍스트 분석 도구를 사용해 단어 수, 정서적 톤, 성별 편향 등의 언어적 특징을 추출하여 실증 분석을 수행했다.
• 각 별개의 코퍼스를 기반으로 Transformer-base NMT 모델을 학습시켜 번역 성능을 평가하고, 방향별 차이(예: 한국어 → 영어 대비 영어 → 한국어)를 탐지했다.
• LIWC에서 유도된 언어적 특징과 NMT 모델 성능 간 상관관계 분석을 수행해 예측 가능한 품질 지표를 규명했다.
• 코퍼스 내 도메인 불일치(예: 사회과학 코퍼스에 의료 문서 포함)와 성별 편향(어휘 사용 측면)을 식별하고 분석했다.
• 모델의 공정성과 성능 향상을 위해, 데이터의 절반을 원천 언어 → 목표 언어 방향, 나머지 절반은 목표 언어 → 원천 언어 방향으로 번역하는 균형 잡힌 코퍼스 제작 전략을 제안했다.
• 기본 NMT 실험과 정성적 분석을 통해 연구 결과를 검증하고, 향후 데이터 필터링 및 코퍼스 제작 절차에 대한 지침을 제시했다.

실험 결과

연구 질문

• RQ1 LIWC를 통해 추출한 언어적 특징은 한국-영어 병렬 코퍼스에서 NMT 모델 성능과 어떻게 상관관계를 가지는가?
• RQ2 AI Hub의 한국-영어 병렬 코퍼스에는 어떤 주요 품질 문제(예: 편향, 도메인 불일치, 불균형)가 존재하는가?
• RQ3 동일한 병렬 코퍼스를 기반으로 학습된 한국어 → 영어 번역 모델과 영어 → 한국어 번역 모델 간에 뚜렷한 성능 격차가 존재하는 이유는 무엇인가?
• RQ4 LIWC는 저자원 언어 환경에서 병렬 코퍼스의 품질을 평가하는 데 신뢰할 수 있는 대체 지표로 활용될 수 있는가?
• RQ5 한국-영어와 같은 저자원 언어 쌍에서 품질 저하를 최소화하고 NMT 성능을 향상시키기 위한 코퍼스 제작 전략은 무엇인가?

주요 결과

• AI Hub의 한국-영어 병렬 코퍼스는 영어 → 한국어 번역과 한국어 → 영어 번역 간 성능 격차가 뚜렷하게 나타나, 데이터 제작 과정에서의 불균형이 확인되었다.
• LIWC 분석 결과, 일부 코퍼스에서 이중 성별 편향이 드러났으며, 특히 3.3 및 3.5 섹션에서 두드러졌다. 이는 번역 과정에서 체계적인 부재 또는 오용이 있을 수 있음을 시사한다.
• 사회과학 코퍼스에서는 의료 문서가 포함되어 있어 도메인 불일치가 발생했으며, 이는 도메인 특화 학습의 일관성과 정밀도를 해칠 수 있다.
• 기술 코퍼스는 정서적 톤이 낮았지만, 이는 감정적 내용이 부족하기 때문이 아니라 기술적이고 간결한 어휘 사용 때문이며, 이는 예상된 바이므로 문제되지 않는다.
• 경제 관련 코퍼스는 개인 관심 관련 어휘 비율이 가장 높아 재정 또는 개인 금융 주제에 집중되어 있음을 시사한다.
• 문장당 단어 수가 가장 길었던 것은 중국어 관련 코퍼스(3.6 및 3.7 섹션)였으며, 이는 중국어 텍스트에 단어 경계가 없기 때문일 것이다.