[논문 리뷰] A* CCG Parsing with a Supertag and Dependency Factored Model

Masashi Yoshikawa, Hiroshi Noji외 1명|arXiv (Cornell University)|2017. 04. 23.

Natural Language Processing Techniques참고 문헌 24인용 수 11

한 줄 요약

이 논문은 CCG 트리의 확률을 슈퍼태그 카테고리와 문법적 의존성으로 분해하는 A* CCG 파서 모델을 제안한다. 이 두 요소는 양방향 LSTMs를 통해 예측된다. 슈퍼태그와 헤드 의존성을 공동으로 모델링함으로써 결정론적 규칙 없이도 결합 구조의 모호성을 해결할 수 있으며, 사전 계산이 가능해져 효율적인 계산을 가능하게 하고, 영어 및 일본어 CCG 파서 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a new A* CCG parsing model in which the probability of a tree is decomposed into factors of CCG categories and its syntactic dependencies both defined on bi-directional LSTMs. Our factored model allows the precomputation of all probabilities and runs very efficiently, while modeling sentence structures explicitly via dependencies. Our model achieves the state-of-the-art results on English and Japanese CCG parsing.

연구 동기 및 목표

• 슈퍼태깅 이후에도 남아 있는 연결 모호성을 해결하기 위해 문법적 의존성을 명시적으로 모델링하는 것.
• 모든 확률를 사전 계산할 수 있도록 국소적으로 분해된 모델을 유지함으로써 A* 검색의 효율성을 유지하는 것.
• 자유로운 어순을 가진 언어에서 결정론적 히وري스틱이 실패하는 경우에도 영어 및 일본어의 파싱 정확도를 향상시키는 것.
• 비라벨 데이터로부터 슈퍼태그 및 의존성 헤드를 공동으로 학습하기 위해 삼중 학습 방법을 확장하는 것.

제안 방법

• 모델은 문장 내 각 토큰에 대해 슈퍼태그와 헤드 단어를 공동으로 예측하기 위해 양방향 LSTMs를 사용한다.
• CCG 트리의 확률은 각 단어별로 독립적으로 계산된 슈퍼태그 확률과 의존성 헤드 확률의 곱으로 분해된다.
• 잠재적 헤드 단어를 평가하기 위해 이차형 변환(bilinear transformation)을 사용하여 의존성 모델의 엔드 투 엔드 미분 가능 학습을 가능하게 한다.
• 비라벨 데이터를 활용한 삼중 학습을 통해 일반화 성능을 향상시키며, 특히 자원이 제한된 환경에서 유용하다.
• 공동 점수에 A* 검색을 적용하며, 사전 계산된 확률 덕분에 효율적인 추론이 가능하다.
• 슈퍼태그 및 헤드 예측 작업에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 문법적 의존성을 명시적으로 모델링하면 슈퍼태깅만으로는 해결되지 않는 A* CCG 파서의 성능을 향상시킬 수 있는가?
• RQ2 양방향 LSTMs를 통한 슈퍼태그 및 의존성의 공동 학습이 A* 파서의 효율성을 유지하면서 정확도를 향상시킬 수 있는가?
• RQ3 자유로운 어순을 가진 언어, 예를 들어 일본어와 같이 결정론적 히وري스틱('attach low')이 실패하는 상황에서 모델이 성능을 뛰어넘을 수 있는가?
• RQ4 비라벨 데이터를 활용한 삼중 학습이 CCG 파서 작업의 성능 향상에 어느 정도 기여하는가?

주요 결과

• 영어 CCGbank 테스트 세트에서, 모델은 레이블 없음 F1 94.0%와 레이블 있음 F1 88.8%를 기록하여 새로운 최신 기술 수준을 수립했다.
• 일본어 CCG 파서에 대해선, 'attach low' 히وري스틱을 사용한 기준 모델 대비 문장 내 의존성 정확도가 10.0점 향상되었다.
• 슈퍼태그와 의존성을 공동으로 모델링함으로써 결정론적 연결 규칙이 필요 없어졌으며, 순수 슈퍼태그 기반 모델에서 여전히 남아 있던 모호성을 해결했다.
• 모든 확률를 사전 계산함으로써 높은 효율성을 유지하였고, 순환 신경망 없이도 빠른 A* 검색이 가능했다.
• 삼중 학습 접근법은 영어 및 일본어 모두에서 성능 향상에 크게 기여하였으며, 비라벨 데이터를 활용한 이점이 뚜렷하게 드러났다.