[논문 리뷰] NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task

Alexander Gutkin, Richard Sproat|arXiv (Cornell University)|2020. 10. 12.

Natural Language Processing Techniques참고 문헌 51인용 수 4

한 줄 요약

이 논문은 WALS 데이터에서 유도된 유전적, 지역적, 함의적 보편 특성에서 유래한 언어 유형학적 특성을 예측하기 위한 빈도주의 추론 방법인 NEMO를 제시한다. 이 방법은 언어적 연관성의 빈도 기반 표현에 릿지 회귀를 적용하여 149개의 테스트 언어에서 마이크로 평균 정확도 0.66를 달성하였으며, 제약 조건이 있는 SIGTYP 2020 공동 과제의 순위에서 두 번째를 기록하였다.

ABSTRACT

This paper describes the NEMO submission to SIGTYP 2020 shared task which deals with prediction of linguistic typological features for multiple languages using the data derived from World Atlas of Language Structures (WALS). We employ frequentist inference to represent correlations between typological features and use this representation to train simple multi-class estimators that predict individual features. We describe two submitted ridge regression-based configurations which ranked second and third overall in the constrained task. Our best configuration achieved the micro-averaged accuracy score of 0.66 on 149 test languages.

연구 동기 및 목표

• WALS와 같은 자원에서 유형학적 데이터의 희소성을 해결하기 위해 누락된 언어적 특성을 예측하는 것.
• 외부 데이터 없이 제공된 훈련, 개발, 테스트 특성만을 사용하는 제약 조건이 있는 기계 학습 접근법을 개발하는 것.
• 빈도주의 추론이 특성 예측을 위한 언어적 상관관계 모델링에 효과적인지 평가하는 것.
• 다양한 분류 알고리즘을 비교하여 유형학적 특성 예측에 가장 강력한 접근법을 식별하는 것.

제안 방법

• 지역적 및 유전적 언어 집단의 분류를 바탕으로 유형학적 특성 간 상관관계를 모델링하기 위해 빈도주의 추론을 사용한다.
• 지역적 및 계통적 이웃 관계 및 함의 보편성을 나타내는 빈도 기반 입력 공간을 구성한다.
• 희소 데이터에서의 강건성과 일반화 능력이 뛰어나기 때문에 주로 릿지 회귀(Tikhonov 정규화)를 분류기로 적용한다.
• WALS 특성에서 함의 보편성을 유도하여 언어적 특성 간 논리적 의존성을 인코딩한다.
• 모델의 복잡성 증가를 방지하기 위해 지리적 및 유전적 연관성에 대해 고정된 이웃 접근법을 사용한다.
• 로지스틱 회귀, 랜덤 포레스트, 서포트 벡터 머신(SVM)을 포함한 여러 분류기를 평가하여 릿지 회귀를 최고의 성능을 보이는 것으로 선정한다.

실험 결과

연구 질문

• RQ1 빈도주의 추론이 희소 데이터 세트에서 유형학적 특성 예측을 위한 언어적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 제약 조건이 있는 환경에서 릿지 회귀는 다른 분류기들과 비교해 어떻게 WALS 유형학적 특성을 예측하는가?
• RQ3 지역적, 유전적, 함의 보편적 특성이 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 특성 희소성과 예측 성능 간의 상관관계는 어떻게 되며, 다양한 특성은 예측 가능성에서 어떻게 다를까?
• RQ5 릿지 회귀와 같은 단순하고 해석 가능한 모델이 이 유형학적 특성 예측 과제에서 더 복잡한 모델보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 릿지 회귀는 테스트 세트에서 가장 높은 마이크로 평균 정확도 0.66을 기록하여 모든 다른 분류기보다 뛰어났다.
• 기준 모델(마이크로 정확도 0.51)보다 유의미하게 뛰어난 성능을 보였다.
• 어순 특성에서 가장 큰 성능 향상을 보였으며, 한 특성(Verb_and_Object_Order)은 정확도 0.89에 도달했다.
• 훈련 데이터에서 빈도가 높은 특성들은 일반적으로 예측이 더 쉬웠지만, 훈련 인스턴스 수와 정확도 간 상관관계는 약했으며, 상관계수 r = -0.34였다.
• 특히 어순과 관련된 특성에 대해 함의 보편성과 관련된 특성에서 높은 성능를 보였다.
• 가장 우수한 성능을 보인 모델은 개발 및 테스트 세트에서 일관되었으며, 릿지 회귀는 둘 다 1위를 기록했다.