[논문 리뷰] Improving Neural Parsing by Disentangling Model Combination and Reranking Effects

Daniel Fried, Mitchell Stern외 1명|arXiv (Cornell University)|2017. 07. 10.

Natural Language Processing Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 생성형 신경 모델러를 사용해 기본 파서의 출력을 재순서 정렬할 때 모델 조합과 재순서 정렬 효과를 분리하기 위한 방법을 제안한다. 이는 생성형 신경 파서에서 직접 범위 검색을 가능하게 함으로써 이루어지며, 생성형 모델이 기본 파서 출력을 재순서 정렬함으로써 달성하는 성능 향상의 대부분은 뛰어난 생성 모델링 때문이 아니라 암묵적인 모델 조합 때문임을 보여준다. 기본 파서와 생성형 모델의 점수를 명시적으로 조합하면 추가적인 성능 향상이 이루어지며, 펜 트리뱅크(Penn Treebank)의 골드 데이터 기준으로 새로운 최고 성능 F1 스코어 94.25와 외부 실버 데이터 기준으로 94.66을 달성한다.

ABSTRACT

Recent work has proposed several generative neural models for constituency parsing that achieve state-of-the-art results. Since direct search in these generative models is difficult, they have primarily been used to rescore candidate outputs from base parsers in which decoding is more straightforward. We first present an algorithm for direct search in these generative models. We then demonstrate that the rescoring results are at least partly due to implicit model combination rather than reranking effects. Finally, we show that explicit model combination can improve performance even further, resulting in new state-of-the-art numbers on the PTB of 94.25 F1 when training only on gold data and 94.66 F1 when using external data.

연구 동기 및 목표

• 기본 파서의 출력을 재순서 정렬하기 위해 생성형 신경 모델을 사용할 때 성능 향상의 원인이 뛰어난 생성 모델링 때문인지, 암묵적인 모델 조합 때문인지 조사하기 위해.
• 기본 파서에 의존하지 않고 생성형 신경 파싱 모델에서 직접 추론이 가능한 범위 검색 알고리즘 개발을 위해.
• 하이브리드 파싱 시스템에서 재순서 정렬과 모델 조합의 기여도를 분리하고 정량화하기 위해.
• 다양한 모델의 점수와 후보 파싱을 명시적으로 조합함으로써 파싱 성능 향상시키기 위해.
• 골드 데이터와 외부 실버 표준 학습 데이터를 모두 사용하여 펜 트리뱅크에서 새로운 최고 성능를 달성하기 위해.

제안 방법

• 생성형 신경 파싱 모델(예: 순환 신경망 문법(RG) 및 LSTM 언어 모델(LM) 파서)에서 직접 복원을 가능하게 하기 위해 확장된 상태 공간을 갖춘 동작 동기화 범위 검색을 제안한다.
• 판별적 파서 RD와 동일한 동작 공간(NT, Shift/Gen, Reduce)을 사용하지만, 생성형 모델의 결합 확률 분포 하에서 유효한 파싱 생성이 가능하도록 제약 조건을 수정한다.
• 생성형 모델의 확률에 기반한 프루닝을 사용한 범위 검색을 통해, 기본 파서의 출력에 의존하지 않고 높은 확률의 파싱을 탐색할 수 있도록 한다.
• 기본 파서(RD)와 생성형 모델(RG, LM)의 점수를 평균 내어 후보 목록에서 최고의 파싱을 선택함으로써 명시적 모델 조합을 도입한다.
• 생성형 모델에서 직접 검색을 통해 발견된 파싱을 기본 파서의 후보 목록에 포함시켜 후보 증강을 수행한다.
• 다양한 모델의 앙상블과 점수의 보간을 통해 성능을 추가로 향상시키며, 초모수는 개발 데이터를 기반으로 튜닝한다.

실험 결과

연구 질문

• RQ1 생성형 재순서 정렬에서의 성능 향상은 재순서 정렬 효과와 기본 파서와의 암묵적 모델 조합 중 어느 정도 기여하는가?
• RQ2 생성형 신경 파싱 모델에서 직접 검색을 수행할 경우, 표준 크로스 스코어링 설정(B → A)보다 성능이 뛰어나게 되는가?
• RQ3 기본 파서와 생성형 모델의 점수를 명시적으로 조합하면 표준 재순서 정렬 설정을 초월해 성능 향상이 이루어지는가?
• RQ4 생성형 모델 자체가 독립적으로 강력한 성능을 낼 수 있는가, 아니면 효과적인 복원을 위해 기본 파서에 의존하는가?
• RQ5 명시적 모델 조합과 후보 증강이 펜 트리뱅크에서 새로운 최고 성능를 달성할 수 있는가?

주요 결과

• 생성형 모델에서 직접 범위 검색(A → A)은 표준 크로스 스코어링 설정(B → A)보다 성능이 떨어지며, 이는 생성형 모델이 실제로 파싱 정확도에 악영향을 주는 일부 높은 확률의 파싱을 선호하기 때문임을 시사한다.
• B → A 설정에서의 성능 향상은 생성형 모델의 성능이 독립적으로 최적일 수 없기 때문에 주로 암묵적 모델 조합 때문이며, 뛰어난 생성 모델링 때문이 아니라는 점을 보여준다.
• 기본 파서와 생성형 모델의 점수를 명시적으로 조합함으로써(예: RD + RG 또는 RD + LM) 생성형 모델의 점수만을 사용하는 것보다 성능 향상이 뚜렷하다.
• 생성형 모델에서 직접 검색을 통해 발견된 파싱을 후보 목록에 추가함으로써 성능 향상이 더욱 뚜렷해지며, 이는 후보 증강의 가치를 입증한다.
• 골드 데이터만을 사용하여 펜 트리뱅크에서 94.25 F1의 최고 성능를 달성하였으며, 이는 다수의 모델에서 점수와 후보를 조합함으로써 달성된 새로운 최고 성능이다.
• 외부 실버 데이터를 사용할 경우 94.66 F1을 달성하여 이전 최고 성능를 초월하며, 앙상블 및 표준 재순서 정렬 접근 방식을 모두 능가한다.