[논문 리뷰] Elimination of Spurious Ambiguity in Transition-Based Dependency Parsing

Shay B. Cohen, Carlos Gómez‐Rodríguez외 1명|arXiv (Cornell University)|2012. 06. 28.

Natural Language Processing Techniques참고 문헌 20인용 수 8

한 줄 요약

이 논문은 각 의존성 트리에 대해 유일한 유도 순서를 정의함으로써 하향식 전이 기반 의존성 파싱에서 부작위적 모호성(spurious ambiguity)을 제거하는 원칙적인 방법을 제시한다. 이는 스택 기반의 결정론적 전이 정책을 통해 각 트리가 유일한 유도를 가지도록 보장한다. 이 방법은 원래 시스템과 동일한 점근적 복잡도를 유지하면서도, 여러 유도를 통합하지 않아도 되므로 효율적인 확률적 파싱을 가능하게 한다.

ABSTRACT

We present a novel technique to remove spurious ambiguity from transition systems for dependency parsing. Our technique chooses a canonical sequence of transition operations (computation) for a given dependency tree. Our technique can be applied to a large class of bottom-up transition systems, including for instance Nivre (2004) and Attardi (2006).

연구 동기 및 목표

• 다양한 유도 순서가 동일한 문법적 구조를 생성하는 전이 기반 의존성 파싱에서의 부작위적 모호성 문제를 해결하기 위해.
• 후행 처리나 차트 기반 방법을 통해 모호성을 제거하는 것이 아니라, 전이 시스템 수준에서 모호성을 제거하기 위해.
• 각 의존성 트리가 유일한 표준 유도를 가지도록 보장하는 원칙적이고 결정론적인 방법을 제공하기 위해.
• 원래 시스템과 동일한 점근적 시간 복잡도를 유지하면서 모호성을 제거하기 위해.
• 다양한 유도를 통합하지 않아도 되므로, 감독 및 비감독 설정 모두에서 효율적인 학습과 디코딩을 가능하게 하기 위해.

제안 방법

• 아크-표준 및 비프로젝션 파서를 포함하는 단조적 하향식 시프트-리덕션 전이 시스템의 클래스를 정의한다.
• 표준 유도 정책을 도입: 가능한 한 일찍 리덕션을 수행하고, 충돌 시 현재 스택 최상단에 더 가까운 연결을 우선시한다.
• 지역적 연결 선호도에 기반하여 각 의존성 트리를 고유한 유도 순서로 매핑하는 결정론적 오라클을 사용한다.
• 기본 파싱 동작을 변경하지 않으면서도 표준 정책을 강제할 수 있도록 전이 시스템에 추가 상태 정보를 통합한다.
• 강화된 시스템이 여전히 완전하며, 원래 시스템과 동일한 시간 복잡도를 유지함을 보장한다.
• 다양한 유도를 통합할 필요 없이 고유한 유도 확률을 할당함으로써 확률 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전이 기반 의존성 파싱에서 부작위적 모호성을 원칙적이고 효율적인 방식으로 시스템 수준에서 제거할 수 있는가?
• RQ2 어떤 조건을 만족해야 전이 시스템이 각 의존성 트리에 대해 고유한 표준 유도를 가질 수 있는가?
• RQ3 제안된 방법이 원래 시스템과 동일한 점근적 시간 복잡도를 유지하는가?
• RQ4 제안된 표준 오라클의 커버리지가 기존 시스템의 히우리스틱 오라클과 비교해 어떻게 되는가?
• RQ5 이 방법은 모호성에 기인한 복잡도 증가 없이도 EM 알고리즘을 사용한 비감독 학습에 확장 가능한가?

주요 결과

• 제안된 표준 오라클은 원래 Attardi 파서(도수-2 전이 사용)가 파싱할 수 있는 모든 트리에 대해 100% 커버리지를 달성했으며, 원래 오라클은 여러 언어에서 수백 개의 트리를 놓쳤다.
• CoNLL 2006 트리뱅크에서 제안된 방법은 원래 Attardi의 히우리스틱 오라클이 72,703개의 체코 문장 중 1,334개를 놓친 반면, 전무한 커버리지(0개의 놓친 트리)를 달성했다.
• 이 방법은 증명적으로 정확하고 완전하다: 원래 시스템에서 파싱 가능한 트리는 표준 시스템에서도 파싱 가능하다.
• 강화된 시스템에 대한 동적 프rogramming 알고리즘은 원래 시스템과 동일한 점근적 복잡도를 가진다.
• 다양한 유도를 통합할 필요 없이 효율적인 학습과 디코딩이 가능하므로 감독 및 비감독 설정 모두에서 유리하다.
• 이 방법은 확률 모델로 확장 가능하며, EM 기반 비감독 학습을 통한 의존성 문법 유도에 활용될 수 있다.