[논문 리뷰] Left-corner Methods for Syntactic Modeling with Universal Structural Constraints

Hiroshi Noji|arXiv (Cornell University)|2016. 08. 01.

Topic Modeling참고 문헌 136인용 수 3

한 줄 요약

이 논문은 보편적인 문법적 제약, 특히 중심통합 회피를 언어 간으로 활용하기 위해 왼쪽모서리 파싱 방법을 제안한다. 의존성 문법에 대해 왼쪽모서리 파싱을 확장하고, 20개 이상의 보편적 의존성 트리뱅크를 분석함으로써 중심통합이 보편적으로 드물게 나타남을 입증하며, 이러한 제약 조건을 활용하면 비지도 문법 유도 및 파싱 성능이 향상됨을 보여준다.

ABSTRACT

The primary goal in this thesis is to identify better syntactic constraint or bias, that is language independent but also efficiently exploitable during sentence processing. We focus on a particular syntactic construction called center-embedding, which is well studied in psycholinguistics and noted to cause particular difficulty for comprehension. Since people use language as a tool for communication, one expects such complex constructions to be avoided for communication efficiency. From a computational perspective, center-embedding is closely relevant to a left-corner parsing algorithm, which can capture the degree of center-embedding of a parse tree being constructed. This connection suggests left-corner methods can be a tool to exploit the universal syntactic constraint that people avoid generating center-embedded structures. We explore such utilities of center-embedding as well as left-corner methods extensively through several theoretical and empirical examinations. Our primary task is unsupervised grammar induction. In this task, the input to the algorithm is a collection of sentences, from which the model tries to extract the salient patterns on them as a grammar. This is a particularly hard problem although we expect the universal constraint may help in improving the performance since it can effectively restrict the possible search space for the model. We build the model by extending the left-corner parsing algorithm for efficiently tabulating the search space except those involving center-embedding up to a specific degree. We examine the effectiveness of our approach on many treebanks, and demonstrate that often our constraint leads to better parsing performance. We thus conclude that left-corner methods are particularly useful for syntax-oriented systems, as it can exploit efficiently the inherent universal constraints in languages.

연구 동기 및 목표

• 어휘에 의존하지 않는 문법적 제약 조건을 식별하여 어순 중심 NLP 시스템을 향상시키는 것.
• 인지적으로 어려운 것으로 알려진 중심통합이 자연어에서 보편적으로 회피되는지 조사하는 것.
• 의존성 트리에서 중심통합의 정도를 효과적으로 캡처할 수 있는 왼쪽모서리 파싱 알고리즘을 개발하는 것.
• 중심통합 회피를 통해 검색 공간을 제약함으로써 비지도 문법 유도 성능 향상 여부를 평가하는 것.
• 보편적 의존성 트리뱅크를 활용하여 보편성 있는 문법 패턴을 검증하는 것.

제안 방법

• 문장 처리 중 중심통합 정도를 추적하기 위해 의존성 문법에 대해 왼쪽모서리 파싱을 확장한다.
• 스택 깊이가 토큰을 이동시키기 전의 값이 그 토큰의 중심통합 정도에 해당하는 스택 기반 왼쪽모서리 PDA를 정의한다.
• 스택 깊이 δe가 토큰 e를 이동시키기 전에 m′e + 1과 정확히 일치함을 보여주는 형식적 증명을 제시한다. 여기서 m′e는 토큰 e의 중심통합 정도이다.
• 검색 공간을 낮은 중심통합 정도의 구조로 제한함으로써 비지도 문법 유도에 왼쪽모서리 파싱 프레임워크를 적용한다.
• 실증적 평가를 위해 보편적 의존성 프로젝트에서 제공하는 20개 이상의 다국어 의존성 트리뱅크를 활용한다.
• 사용자 정의 임계값 이하의 높은 중심통합 정도의 유도를 제외함으로써 검색 공간을 효율적으로 정리하는 파서를 구현한다.

실험 결과

연구 질문

• RQ1 다양한 자연어에서 중심통합이 보편적으로 회피되는가, 그리고 어느 정도까지 그러한가?
• RQ2 왼쪽모서리 파싱이 의존성 트리에서 중심통합 정도를 효과적으로 모델링하고 측정할 수 있는가?
• RQ3 중심통합 회피를 보편적 제약 조건으로 통합함으로써 비지도 문법 유도 성능 향상이 가능한가?
• RQ4 왼쪽모서리 파싱 메커니즘이 문법적 구조에서 중심통합 정도의 형식적 정의와 어떻게 관련되는가?
• RQ5 보편적인 문법적 제약 조건이 정확도를 손상시키지 않으면서 문법 유도의 검색 공간을 어느 정도 줄일 수 있는가?

주요 결과

• 분석된 20개 이상의 언어에서 중심통합은 드문 현상임을 확인하였다.
• 왼쪽모서리 파싱 알고리즘이 중심통합 정도를 성공적으로 캡처하였으며, 토큰을 이동시키기 전의 스택 깊이는 정확히 그 토큰의 중심통합 정도보다 1만큼 큰 값이다.
• 형식적 증명을 통해 왼쪽모서리 PDA의 최대 스택 깊이는 파싱 트리에서의 최대 중심통합 정도와 정확히 일치함을 입증하였다.
• 비지도 문법 유도에서 중심통합 제약 조건을 적용함으로써 여러 트리뱅크에서 파싱 성능 향상이 이루어졌다.
• 왼쪽모서리 방법은 보편적인 문법적 제약 조건을 효율적으로 활용하여 검색 공간을 줄였고, 정확도를 유지하거나 향상시켰다.
• 결과는 중심통합 회피가 보편적인 언어학적 제약 조건이며, 문법 모델링에서 계산적으로 활용될 수 있음을 지지한다.