[논문 리뷰] What do complexity measures measure? Correlating and validating corpus-based measures of morphological complexity

Çağrı Çöltekin, Taraka Rama|arXiv (Cornell University)|2022. 04. 11.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 연구는 30개 언어에서 8종의 코퍼스 기반 형태계 복잡도 측정법을 평가하여 주요 성분 분석(92.6% 분산 설명)을 통해 강한 상관관계와 지배적인 단일 기초 차원을 발견하였다. 이론적으로는 세는 복잡도와 통합 복잡도의 구분이 있으나, 측정법들은 주로 하나의 통합된 형태계 복잡도 차원을 반영하며, 단일 지표보다 복수 지표의 조합이 더 신뢰할 만한 결과를 제공한다.

ABSTRACT

We present an analysis of eight measures used for quantifying morphological complexity of natural languages. The measures we study are corpus-based measures of morphological complexity with varying requirements for corpus annotation. We present similarities and differences between these measures visually and through correlation analyses, as well as their relation to the relevant typological variables. Our analysis focuses on whether these `measures' are measures of the same underlying variable, or whether they measure more than one dimension of morphological complexity. The principal component analysis indicates that the first principal component explains 92.62 % of the variation in eight measures, indicating a strong linear dependence between the complexity measures studied.

연구 동기 및 목표

• 광범위하게 사용되는 코퍼스 기반 형태계 복잡도 측정법이 동일한 기초 언어학적 구조를 측정하는지 평가하기 위해.
• 이러한 측정법이 세는 복잡도(형태구문적 구분 수)와 통합 복잡도(형태의 예측 가능성)와 같은 다중 복잡도 차원을 반영하는지 조사하기 위해.
• WALS 데이터베이스의 유형학적 특징과 불규칙 형태 정확도 데이터와의 유효성 검증을 위해.
• 다양한 측정법을 조합함으로써 형태계 복잡도 평가의 신뢰성을 향상시킬 수 있는지 판단하기 위해.
• 코퍼스 크기와 불규칙 형태의 빈도가 모델 성능과 복잡도 추정에 미치는 영향을 분석하기 위해.

제안 방법

• 30개 언어에서 8종의 형태계 복잡도 측정법에 주요 성분 분석(PCA)을 적용하여 변동의 기초 차원을 규명하였다.
• 다양한 트리뱅크(예: UD, TüBa-D/Z)에서 유래한 코퍼스 기반 불규칙형 표를 사용하여 복잡도 점수를 계산하여 실제 언어 사용과의 일관성을 확보하였다.
• 복잡도 측정법을 WALS 유형학적 특징과 부정적 불규칙형 정확도 점수와 상관시켜 외부 타당성을 평가하였다.
• 모든 측정법 쌍 간의 상관계수 분석을 수행하여 상호의존성을 평가하였다.
• 코퍼스 크기와 불규칙 형태의 빈도가 모델 성능과 복잡도 추정에 미치는 영향을 분석하였다.
• 측정법과 PCA 차원에 따른 언어 순위를 시각화하여 언어 가문 및 유형학적 유사성 기반의 군집화 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 8종의 코퍼스 기반 형태계 복잡도 측정법이 동일한 기초 언어학적 구조를 평가하는가?
• RQ2 이러한 측정법들이 세는 복잡도와 통합 복잡도와 같은 다중 복잡도 차원을 어느 정도 반영하는가?
• RQ3 복잡도 측정법이 WALS 유형학적 특징과 불규칙형 정확도와 같은 외부 언어 변수와 어떻게 상관되는가?
• RQ4 예상과는 반대로 복잡도 측정법이 부정적 불규칙형 정확도와 정적 상관관계를 보이는 이유는 무엇인가?
• RQ5 다양한 복잡도 측정법을 조합하면 단일 측정법보다 더 안정적이고 신뢰할 수 있는 형태계 복잡도 추정을 가능하게 하는가?

주요 결과

• 첫 번째 주요 성분은 8종의 복잡도 측정법에서 총 분산의 92.6213%를 설명하며, 강한 선형 종속성과 지배적인 단일 기초 차원을 나타낸다.
• 이론적으로 세는 복잡도와 통합 복잡도의 차이가 있음에도 불구하고, 측정법들은 주로 하나의 통합된 형태계 복잡도 차원을 반영한다.
• 파생어 형태와 복합어에 민감한 측정법(예: WH 및 LH)은 베트남어나 영어와 같이 일반적으로 복잡도가 낮게 평가되는 언어에 대해 높은 점수를 기록한다.
• 모든 복잡도 측정법 간에 상호 정적 상관관계가 존재하여 공통된 구조에 집중하고 있음을 뒷받침한다.
• MSP 측정법은 부정적 불규칙형 정확도와 가장 높은 상관관계(0.2837)를 보이며, 이는 불규칙성과 처리 난이도에 가장 민감하다는 것을 시사한다.
• 동일하거나 밀접한 관련이 있는 언어에서 유래한 트리뱅크는 PCA 공간에서 서로 가까이 군집되며, 이는 측정법이 유형학적 및 유전적 관계를 신뢰성 있게 반영하고 있음을 나타낸다.