[논문 리뷰] Identifiability and Unmixing of Latent Parse Trees

Daniel Hsu, Sham M. Kakade외 1명|arXiv (Cornell University)|2012. 06. 14.

Natural Language Processing Techniques참고 문헌 28인용 수 23

한 줄 요약

이 논문은 수치적 자코비안 랭크 테스트를 사용하여 특정 잠재적 파싱 트리 모델의 식별 가능성을 확립하고, 다양한 트리 구조를 가진 경우에도 효율적인 매개변수 추정을 위한 새로운 언믹싱 기법을 제안한다. 간소화된 PCFG 및 의존성 모델은 식별 가능함을 증명하였고, 표준 PCFG는 그렇지 않음을 밝혔으며, 사전에 트리 레이블이 없는 관측된 문장들로부터 매개변수를 복원하는 스펙트럼 기반 알고리즘을 제공한다.

ABSTRACT

This paper explores unsupervised learning of parsing models along two directions. First, which models are identifiable from infinite data? We use a general technique for numerically checking identifiability based on the rank of a Jacobian matrix, and apply it to several standard constituency and dependency parsing models. Second, for identifiable models, how do we estimate the parameters efficiently? EM suffers from local optima, while recent work using spectral methods cannot be directly applied since the topology of the parse tree varies across sentences. We develop a strategy, unmixing, which deals with this additional complexity for restricted classes of parsing models.

연구 동기 및 목표

• 무한한 데이터로부터 어떤 생성적 파싱 모델이 식별 가능한지, 특히 문장 간 파싱 트리 구조가 변할 경우를 고려하여 규명하는 것.
• 트리 구조가 관측되지 않으며 문장 간으로 변동하는 모델에서 매개변수 추정의 과제를 해결하는 것.
• 지역 최적해를 피하는 EM 알고리즘의 문제를 회피하기 위해 비모수적 파싱 모델 학습을 위한 계산적으로 효율적인 방법을 개발하는 것.
• 이전에 고정된 트리 구조 모델에 국한되었던 스펙트럼 방법을 동적이고 문장별로 다를 수 있는 트리 구조를 가진 모델로 확장하는 것.

제안 방법

• 무한한 데이터로부터 모델 매개변수를 유일하게 복원할 수 있는지 평가하기 위해 자코비안 행렬의 랭크에 기반한 수치적 식별 가능성 검사기 사용.
• 레마 1을 통한 스펙트럼 분해를 통해 관측된 저순서 모멘트로부터 행렬 성분을 복원하며, 행렬 곱과 고유값 분해를 활용.
• 모멘트를 가능한 트리 구조에 대한 혼합으로 표현하기 위해 언믹싱 기법을 도입하고, 이를 통해 고정된 트리 구조 하위 문제의 매개변수를 복원.
• 가역행렬과 행렬 연산을 사용하여 초기 분포, 전이 행렬, 방출 행렬을 순열 및 스케일링을 제외한 정확도로 복원.
• 최대 길이까지의 문장 길이에 걸친 모멘트로부터 혼합 행렬을 구성하여 더 긴 문장으로의 확장을 도모.
• 예를 들어 μ₁₃ − μ₁₂와 같은 모멘트의 선택적 조합을 사용하여 AA + A와 같은 행렬 함수의 방정식을 유도하고, 이를 대각화하여 A를 복원.

실험 결과

연구 질문

• RQ1 트리 구조가 문장 간으로 변동할 경우, 표준 구성 문법 및 의존성 파싱 모델 중 어떤 것이 무한한 데이터로부터 식별 가능한가?
• RQ2 스펙트럼 방법을 고정된 트리 구조가 아닌, 변동 가능한 트리 구조를 가진 파싱 모델에 적응시킬 수 있는가?
• RQ3 사전에 파싱 트리의 구조를 알지 못한 채 관측된 문장의 단어들만을 사용하여 모델 매개변수를 추정할 수 있는가?
• RQ4 모델 구조에 어떤 조건이 있어야 자코비안 랭크 테스트가 식별 가능성을 확인할 수 있는가?
• RQ5 트리 구조가 관측되지 않으며 이질적인 경우, 관측된 분포의 모멘트를 어떻게 분해하여 잠재 매개변수를 복원할 수 있는가?

주요 결과

• 확률적 문맥 자유 문법(PCFG)은 자코비안 랭크 테스트로 확인된 바와 같이 매개변수의 중복성 때문에 식별 가능하지 않다.
• 제안된 수치 기준 하에서 간소화된 PCFG 및 의존성 모델의 변종(예: DEP-IES)은 식별 가능하다.
• 언믹싱 기법은 트리 레이블 없이도 식별 가능한 모델의 매개변수를 성공적으로 복원한다.
• DEP-IES 모델의 경우, 모멘트 차이로부터 유도된 이차 방정식을 풀어 초기 분포 π와 전이 행렬 A를 복원한다.
• 이 알고리즘은 길이 3과 길이 2의 문장만을 사용하여 대각화 이후 닫힌 형태의 해를 도출한다.
• 혼합 행렬 접근법을 통해 길이 L_max까지의 문장으로의 확장을 가능하게 하였으며, L_max=10일 때 990×2376 행렬을 사용하여 식별 가능성과 복원 가능성을 유지한다.