[논문 리뷰] Two Local Models for Neural Constituent Parsing

Zhiyang Teng, Yue Zhang|arXiv (Cornell University)|2018. 08. 14.

Natural Language Processing Techniques참고 문헌 54인용 수 5

한 줄 요약

이 논문은 이중 방향 LSTMs를 사용한 인코더와 트리-LSTM 기반 레이블 생성을 통해 구성요소 스펙트럼과 CFG 규칙에 대해 독립적인 결정을 내리는 두 가지 국소 신경 모델을 제안한다. 전역적인 구조적 훈련이 없음에도 불구하고, 최고의 모델은 PTB에서 92.4%의 레이블된 괄호 F1 점수와 CTB 5.1에서 87.3%를 기록하며, 앙상블이나 외부 파싱 없이도 많은 이전의 신경 파서들을 능가한다.

ABSTRACT

Non-local features have been exploited by syntactic parsers for capturing dependencies between sub output structures. Such features have been a key to the success of state-of-the-art statistical parsers. With the rise of deep learning, however, it has been shown that local output decisions can give highly competitive accuracies, thanks to the power of dense neural input representations that embody global syntactic information. We investigate two conceptually simple local neural models for constituent parsing, which make local decisions to constituent spans and CFG rules, respectively. Consistent with previous findings along the line, our best model gives highly competitive results, achieving the labeled bracketing F1 scores of 92.4% on PTB and 87.3% on CTB 5.1.

연구 동기 및 목표

• 전역적인 구조적 학습에 의존하지 않고도 매우 국소적인 신경 모델이 신경 구성요소 파싱에서 경쟁 가능한 성능을 달성할 수 있는지 조사하는 것.
• 밀도 있는 신경 표현을 통해 국소적인 스펙트럼 수준 및 규칙 수준의 분류가 문법적 구조를 얼마나 잘 포착하는지 평가하는 것.
• 이중 LSTM 인코더가 장거리 의존성을 암묵적으로 모델링할 수 있는지, 비국소적 특징의 필요성을 줄일 수 있는지 확인하는 것.
• 스펙트럼 분류, 규칙 기반 파싱, 다중 레이블 스펙트럼 예측 등의 다양한 국소 모델링 전략이 구성요소 파싱 정확도에 어떻게 영향을 미치는지 비교하는 것.
• 강력한 신경 인코더를 사용할 경우, 단순한 국소 모델이 재분류, 앙상블, 또는 외부 파싱 없이도 최신 기술 성능을 달성하거나 초월할 수 있는지 보여주는 것.

제안 방법

• 스펙트럼 모델은 모든 스펙트럼에 대해 0/1 분류를 수행하며, 길이가 1인 스펙트럼를 제외한 모든 가능한 스펙트럼 [i,j]가 구성요소인지 예측하기 위해 이중 방향 LSTM를 사용한다.
• 규칙 모델은 모든 유효한 분할에 대해 생산 규칙의 확률 $P([i,j] \rightarrow [i,k][k+1,j] \mid S)$를 예측하며, 이중 애페이니티 스코어링 메커니즘을 사용한다.
• 스펙트럼 또는 규칙 모델에서 유도된 국소 확률을 바탕으로 이진 CKY 파싱을 통해 비라벨링된 이진 파싱 트리를 구성한다.
• 비라벨링된 트리를 순차적으로 인코딩하기 위해 트리-LSTM 인코더를 사용하여 문맥 기반 노드 표현을 생성한다.
• 별도의 LSTM 디코더가 트리-LSTM 출력을 입력으로 받아 각 노드에 대한 구성요소 레이블 시퀀스(단일 규칙 포함)를 생성한다.
• 디바이너라이제이션 이후 최종 파싱 트리를 재구성하며, 디코더를 통해 각 노드에 레이블을 할당한다.

실험 결과

연구 질문

• RQ1 전역적인 구조적 훈련 없이도 국소적이고 스펙트럼 수준의 분류 모델이 경쟁 가능한 구성요소 파싱 정확도를 달성할 수 있는가?
• RQ2 구성요소 스펙트럼을 직접 모델링하는 것과 비교해, 구성요소 규칙(즉, 분할 지점)을 국소적으로 모델링하는 것이 어떻게 다른가?
• RQ3 이중 LSTM 인코더가 얼마나 장거리 문법적 의존성을 포착할 수 있으며, 이는 비국소적 특징의 필요성을 얼마나 줄일 수 있는가?
• RQ4 다양한 구성요소 유형과 문장 길이에서 스펙트럼, 규칙, 다중 레이블 스펙트럼 등의 다양한 국소 모델링 전략이 어떻게 성능을 내는가?
• RQ5 강력한 신경 인코더를 사용할 경우, 더 복잡한 전역 모델에 비해 단순한 국소 모델이 구성요소 파싱에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 최고의 모델인 BiaffineRule는 PTB 테스트 세트에서 92.4%의 레이블된 괄호 F1 점수를 기록했으며, CTB 5.1에서는 87.3%를 달성하여, 앙상블이나 외부 파싱 없이도 많은 이전의 신경 파서들을 능가한다.
• BiaffineRule 모델은 SBAR, WHNP, QP와 같은 레이블에서 MultiSpan 및 BinarySpan을 능가하며, 특히 짧은 문장에서 분할 지점 탐지 능력이 뛰어나다.
• NP, PP, ADVP, ADJP 유형에서는 MultiSpan이 BiaffineRule보다 성능이 뛰어나, 이는 이러한 유형에 대해 명시적인 레이블 정보가 도움이 된다는 것을 시사한다.
• 문장 길이가 30 이상 또는 스펙트럼 길이가 10 초과인 경우 MultiSpan이 BiaffineRule를 초월하며, 이는 복잡한 구조에서 레이블 정보의 가치가 더 높아지는 것을 의미한다.
• 모델들은 레이블 편향이 거의 없으며, 문장 길이 증가에 따라 F1 점수가 점진적으로 감소하는 경향을 보이며, 전통적인 국소 모델과는 다르다.
• BiaffineRule 모델은 추론 속도가 가장 빠르며(6.00 sents/sec), MultiSpan과 BinarySpan은 느리며(각각 21.55 및 22.12 sents/sec) 정확도와 속도 사이의 상충 관계가 있음을 시사한다.