[논문 리뷰] CRF Autoencoder for Unsupervised Dependency Parsing

Jiong Cai, Yong Jiang외 1명|arXiv (Cornell University)|2017. 08. 03.

Natural Language Processing Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 CRF 오토인코더 프레임워크를 사용한 판별적 비지도 의존 구문 분석 모델을 제안한다. 여기서 인코더는 구문 분석을 위한 전역 정규화된, 특징이 풍부한 CRF 모델이며, 디코더는 예측된 구문 구조에서 입력 토큰을 재구성한다. 이 방법은 8개의 다국어 트리뱅크에서 최신 기술 수준의 성능을 달성하며, 특히 일반화된 언어학적 사전 지식을 사용할 경우 기존의 비지도 모델을 능가한다.

ABSTRACT

Unsupervised dependency parsing, which tries to discover linguistic dependency structures from unannotated data, is a very challenging task. Almost all previous work on this task focuses on learning generative models. In this paper, we develop an unsupervised dependency parsing model based on the CRF autoencoder. The encoder part of our model is discriminative and globally normalized which allows us to use rich features as well as universal linguistic priors. We propose an exact algorithm for parsing as well as a tractable learning algorithm. We evaluated the performance of our model on eight multilingual treebanks and found that our model achieved comparable performance with state-of-the-art approaches.

연구 동기 및 목표

• 생성 모델의 한계를 피하면서도 실현 가능하고 판별적인 비지도 의존 구문 분석 방법을 개발한다.
• 더 높은 구문 분석 정확도를 위해 CRF 기반 인코더에서 풍부한 특징과 전역 정규화를 활용한다.
• CRF 오토인코더를 통해 재구성 기반 학습 목표를 통합하여 잠재 구조 학습을 이끌어낸다.
• 다국어 데이터에서 모델을 평가하고 최신 기술 수준의 비지도 구문 분석 시스템과 비교한다.
• 일반화된 언어학적 사전 지식이 구문 분석 성능에 미치는 영향을 조사한다.

제안 방법

• 모델은 판별적 인코더를 사용하는 CRF 오토인코더를 사용하며, 이 인코더는 풍부한 특징을 가진 로그-선형 모델을 통해 입력 문장에 대한 구문 트리의 조건부 확률을 모델링한다.
• 구문 트리 점수는 특징 가중된 의존 간선 점수의 합으로 계산되며, 매트릭스-트리 정리 또는 인side-outside 알고리즘을 통해 계산된 분할 함수에 의해 정규화된다.
• 디코더는 예측된 헤드에서 입력 토큰을 재구성하기 위한 다항 모델을 사용하며, 파라미터는 비터비 EM을 통해 업데이트된다.
• 학습은 확률적 경사 하강법을 사용해 CRF 가중치를 최적화하고, 비터비 파싱에서 최대우도 추정을 통해 디코더 파라미터를 업데이트하는 방식으로 번갈아가며 수행된다.
• 목표 함수는 구문과 재구성의 결합 분포의 로그우도를 조합하며, 엔드 투 엔드 학습을 가능하게 하기 위해 비터비 근사를 사용한다.
• 정확한 구문 분석은 각 문장에 대해 가장 높은 점수를 가진 유효한 구문 트리를 찾는 동적 프rogram밍 알고리즘을 통해 수행된다.

실험 결과

연구 질문

• RQ1 판별적이고 전역 정규화된 CRF 모델이 비지도 의존 구문 분석에서 생성 모델을 능가할 수 있는가?
• RQ2 풍부한 특징과 일반화된 언어학적 사전 지식을 통합하면 비지도 환경에서 구문 분석 정확도가 향상되는가?
• RQ3 CRF 오토인코더 프레임워크가 복잡한 트리 구조 출력에 대해 실현 가능한 학습과 정확한 추론을 지원할 수 있는가?
• RQ4 목표 함수의 비터비 근사는 표준 음수 로그우도 대비 성능에서 어떻게 비교되는가?
• RQ5 모델은 다양한 언어로 일반화되어 있으며, 골드 애너테이션 없이도 경쟁 가능한 성능을 달성하는가?

주요 결과

• 제안된 CRF 오토인코더 모델은 월 스트리트 저널 테스트 세트에서 방향성 의존 정확도 55.7%를 달성하여 기준 음수 로그우도 목표 함수(41.8%)를 능가한다.
• PASCAL 문법 유도 챌린지의 일곱 언어 평균에서, 이 모델은 Convex-MST 및 Neural DMV를 포함한 모든 비교 시스템 중에서 가장 높은 성능을 기록한다.
• 일반화된 언어학적 사전 지식의 사용은 특히 Convex-MST 및 제안된 CRFAE 모델에서 성능 향상에 크게 기여한다.
• 비터비 버전의 목표 함수는 표준 음수 로그우도 목표 함수보다 훨씬 높은 구문 분석 정확도를 이끌어내어 그 효과성을 확인한다.
• 모델은 강력한 다국어 일반화 성능을 보이며, 레이블이 없는 데이터로도 다양한 언어에서 경쟁 가능한 성능을 달성한다.
• 이 방법은 정확한 구문 분석과 실현 가능한 학습을 가능하게 하며, 비프로젝티브 트리의 경우 매트릭스-트리 정리를 사용해 분할 함수를 효율적으로 계산할 수 있다.