[논문 리뷰] Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource

Antonis Anastasopoulos, Marika Lekakou외 4명|arXiv (Cornell University)|2018. 06. 11.

Natural Language Processing Techniques참고 문헌 15인용 수 12

한 줄 요약

이 논문은 114개의 내러티브로 구성된 병렬 Griko-이탈리아어 코퍼스를 제시하며, 테스트 세트 10편의 내러티브에 대해 골드 표준 POS 태깅을 제공하여 멸종 위험에 처한 언어에서 POS 태깅 방법의 평가를 가능하게 한다. 이는 반복 학습을 통한 반독립적 학습과 교차 언어 전이를 조합함으로써 500개 미만의 학습 문장으로도 72.9%의 정확도를 달성할 수 있음을 보여주며, 활성 학습을 통해 단순한 CRF 모델이 800개 이상의 태깅 문장을 확보할 경우 94% 이상의 정확도를 초월할 수 있음을 시사한다.

ABSTRACT

Most work on part-of-speech (POS) tagging is focused on high resource languages, or examines low-resource and active learning settings through simulated studies. We evaluate POS tagging techniques on an actual endangered language, Griko. We present a resource that contains 114 narratives in Griko, along with sentence-level translations in Italian, and provides gold annotations for the test set. Based on a previously collected small corpus, we investigate several traditional methods, as well as methods that take advantage of monolingual data or project cross-lingual POS tags. We show that the combination of a semi-supervised method with cross-lingual transfer is more appropriate for this extremely challenging setting, with the best tagger achieving an accuracy of 72.9%. With an applied active learning scheme, which we use to collect sentence-level annotations over the test set, we achieve improvements of more than 21 percentage points.

연구 동기 및 목표

• 자원이 극히 부족한 Italiot 그리스어인 Griko 언어에 적합한 POS 태깅 방법을 개발하고 평가하기 위해.
• 멸종 위험에 처한 언어의 저자원 환경에서 단일 언어 데이터, 교차 언어 전이, 활성 학습의 효과를 평가하기 위해.
• 기준으로 사용할 수 있는 고품질의 병행 Griko-이탈리아어 코퍼스를 구축하여 기준 평가 및 향후 NLP 연구를 위한 기반을 마련하기 위해.
• 특히 반독립적 학습과 교차 언어 전이의 최적 조합을 도출하여 저자원, 멸종 위험에 처한 언어 환경에서 초기 단계의 POS 태깅 성능을 극대화하기 위해.
• 활성 학습이 데이터 증가에 따라 인간 태깅 비용을 줄이고 정확도를 극대화하는 데 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 114개의 Griko 내러티브로 구성된 병행 코퍼스를 구축하였으며, 문장 수준에서 이탈리아어 번역을 제공하여 총 10,100개의 문장과 Griko어로 211,600개의 토큰을 확보하였다.
• 3명의 전문 언어학자들이 참여한 전문가 기반 평가를 통해 테스트 세트 10편의 내러티브(885개 문장)에 대해 골드 표준 POS 태깅을 확보하여 고품질 평가를 보장하였다.
• 다양한 POS 태깅 모델을 평가: 전통적인 특징 기반 교차 엔트로피 태거, CRF 태거, 신경망 bi-LSTM 태거.
• 단일 언어 Griko 데이터를 활용한 반독립적 학습을 적용하여, 소규모 골드 태깅 데이터셋을 초월한 태깅 성능 향상을 도모하였다.
• 이중어 문장 수준 정렬을 기반으로 한 교차 언어 전이를 통해 이탈리아어 번역에서 Griko로의 태그를 추론하였다.
• 단일 언어 데이터와 교차 언어로 추론된 태그를 융합한 하이브리드 접근법을 적용하여 개별 방법보다 향상된 성능을 입증하였다.

실험 결과

연구 질문

• RQ1 Griko와 같이 자원이 극히 부족한 멸종 위험에 처한 언어의 소규모 골드 태깅 테스트 세트로 훈련된 전통적 POS 태깅 모델(예: CRF, bi-LSTM)은 얼마나 효과적인가?
• RQ2 Griko에서의 단일 언어 데이터는 저자원 환경에서 POS 태깅 정확도 향상에 얼마나 기여하는가?
• RQ3 이탈리아어 번역에서의 교차 언어 전이가 Griko로의 태그를 얼마나 잘 추론하는가? 이는 단일 언어 방법보다 우월한가?
• RQ4 극도로 저자원 환경에서 POS 태깅에 있어 반독립적 학습과 교차 언어 전이의 최적 조합은 무엇인가?
• RQ5 활성 학습은 태깅 문장 수가 증가함에 따라 다양한 태깅 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 반독립적 학습과 교차 언어 전이를 조합한 방법이 골드 태깅 데이터셋이 360개에 불과할 때도 가장 높은 정확도 72.9%를 기록하였다.
• 800개 이상의 태깅 문장을 확보한 후, 단순한 특징 기반 CRF 모델이 모든 다른 방법보다 뛰어난 성능을 보이며 94% 이상의 정확도를 달성하였다.
• 교차 언어 태그 추론 방법의 성능은 약 85%의 정확도에서 정체되어 추가 데이터가 제공되어도 향상되지 않았다.
• 신경망 bi-LSTM 모델은 370개 문장에서 최고 성능 방법과의 정확도 격차를 14%p에서 1,100개 문장에서 2%p로 줄였다.
• 800개 이상의 학습 문장이 제공될 경우, 교차 언어 태그 추론이 성능에 악영향을 미쳐 성능 향상의 한계 또는 간섭 현상이 발생함을 확인하였다.
• 골드 태깅 테스트 세트에서 교차 검증을 통해 CRF 모델의 평균 정확도는 91.9%이며 표준편차는 2%로 나타나 내러티브 간에 모델의 안정성이 높음을 확인하였다.