[논문 리뷰] Fixing the Infix: Unsupervised Discovery of Root-and-Pattern Morphology

Tarek Sakakini, Suma Bhat외 1명|arXiv (Cornell University)|2017. 02. 07.

Natural Language Processing Techniques참고 문헌 9인용 수 3

한 줄 요약

이 논문은 분산 단어 표현을 활용하여 시아믹 어족의 어근-패턴 형태학을 비지도 학습, 언어에 종속되지 않는 방식으로 탐지하는 방법을 제안한다. 철자 패턴과 단어 임베딩에서 유도된 의미 유사도를 결합함으로써, ISRI와 같은 최첨단 규칙 기반 시스템과 비교해 유사한 성능을 달성한다. 비접속성 규칙이 제외될 경우 정확도가 11.5% 상승하며, 이는 어근-패턴 형태학이 정확한 어근 추출에 있어 핵심적인 역할을 한다는 것을 시사한다.

ABSTRACT

We present an unsupervised and language-agnostic method for learning root-and-pattern morphology in Semitic languages. This form of morphology, abundant in Semitic languages, has not been handled in prior unsupervised approaches. We harness the syntactico-semantic information in distributed word representations to solve the long standing problem of root-and-pattern discovery in Semitic languages. Moreover, we construct an unsupervised root extractor based on the learned rules. We prove the validity of learned rules across Arabic, Hebrew, and Amharic, alongside showing that our root extractor compares favorably with a widely used, carefully engineered root extractor: ISRI.

연구 동기 및 목표

• 시아믹 어족에서 어근-패턴 형태학을 탐지하기 위한 비지도, 언어에 종속되지 않는 방법의 부족을 해결하기 위해.
• 전문가의 언어학 지식이나 애너테이션 데이터가 필요로 하는 기존의 규칙 기반 및 지도 학습 시스템의 한계를 극복하기 위해.
• 분산 단어 표현에서 유도된 문법적 및 의미적 정보를 형태학 규칙 학습에 통합하여 일반화 능력을 향상시키기 위해.
• ISRI와 같이 정교하게 설계된 언어 특화 시스템에 맞먹는 비지도 어근 추출기(JZR)를 개발하기 위해.
• 아랍어, hebrew, 아مهر리카에서 현지어 사용자 평가를 통해 탐지된 형태학 규칙의 타당성을 검증하기 위해.

제안 방법

• 이 방법은 두 가지 철자 모델을 사용한다: 하나는 접두사/접미사 삽입/삭제를 통한 접속성 형태학을 위한 것이고, 다른 하나는 자음 어근과 모음 패턴 템플릿을 통한 어근-패턴 형태학을 위한 것이다.
• 형태학적 관계의 타당성을 검증하기 위해 단어 임베딩 기반의 의미 모델을 적용하며, 단어 쌍의 차분 벡터 간 코사인 유사도를 사용해 의미적 타당성을 평가한다.
• 규칙는 지원 집합(SSr) 내 단어 쌍에서의 철자적 지지도, 의미 유사도, 일관성의 조합을 통해 점수를 매기며, 필터링을 위한 조정 가능한 임계값을 사용한다.
• 어근 추출기 JZR는 어근 추출을 반복 최적화 문제로 설정하며, 의미 점수를 최대화하면서 철자적 및 의미적 임계값을 충족하는 최적의 형태학 규칙(r*)을 선택한다.
• 수렴을 보장하고 비접속성 과정을 처리하기 위해 R_add(접두사 또는 패턴 추가 규칙)와 R_rep(접두사 교체 규칙)를 번갈아 적용한다.
• 최적의 규칙을 반복적으로 적용하여 단어 길이를 줄이며, 삼자음 어근에 도달할 때까지 진행하며, 유효한 감소가 없을 경우 대체 규칙으로 대체한다.

실험 결과

연구 질문

• RQ1 분산 단어 표현을 활용한 비지도 학습이 언어학적 사전 지식 없이도 시아믹 어족에서 어근-패턴 형태학을 효과적으로 탐지할 수 있는가?
• RQ2 단어 임베딩에서 유도된 의미 정보의 통합이 순수히 철자 기반 방법에 비해 형태학 규칙 탐지 정확도를 얼마나 향상시키는가?
• RQ3 어근-패턴 규칙이 접속성 형태학만을 고려할 때와 비교해 비지도 어근 추출기 성능에 얼마나 기여하는가?
• RQ4 제안된 방법이 아랍어 어근 추출에서 ISRI와 같은 규칙 기반 언어 특화 시스템과 유사한 성능을 달성할 수 있는가?
• RQ5 탐지된 형태학적 구조는 아랍어, 히브리어, 아مهر리카와 같이 자원이 적은 언어를 포함해 시아믹 어족 전반에 일반화 가능한가?

주요 결과

• 현지어 사용자 평가 결과, 아랍어, 히브리어, 아مهر리카에서 탐지된 상위 30개의 어근-패턴 규칙에 대해 100% 정확도를 확인하여, 이 방법의 언어에 종속되지 않는 정확성과 타당성을 검증하였다.
• 1200개의 아랍어 단어 샘플에서 JZR는 어근 추출 정확도 51.88%를 달성하였으며, 어근-패턴 규칙를 제외한 제한된 JZR 기반 모델(45.63%)보다 뛰어난 성능을 보였다.
• 비접속성 규칙를 제외했을 때 11.5% 상승한 정확도는 어근-패턴 형태학이 전체 정확도에 상당한 기여를 한다는 것을 시사한다.
• JZR의 성능은 ISRI와 유사한 수준이며, ISRI는 동일한 테스트 세트에서 61.63%의 정확도를 기록한 광범위하게 사용되는 정교하게 설계된 언어 특화 어근 추출기이다.
• 이 방법은 자원이 적은 언어인 아مهر리카를 포함해 언어 간에 강건성을 보이며, 어휘 수가 10,000개로 제한된 환경에서도 적용 가능하여 자원이 적은 환경에 대한 확장성을 보여준다.
• 이 연구는 11.5%의 감소가 어근-패턴 규칙의 진정한 영향을 과소평가하고 있을 가능성이 있으며, ISRI 시스템 자체도 이러한 패턴에 크게 의존하고 있기 때문에, JZR는 효과적으로 핵심 언어학적 요소를 포착하고 있음을 시사한다.