[논문 리뷰] CCG Parsing and Multiword Expressions

Miryam de Lhoneux|arXiv (Cornell University)|2015. 05. 17.

Natural Language Processing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 CCGbank의 훈련 및 테스트 데이터에서 다어휘어구(Multiword Expressions, MWEs)를 단일 토큰으로 압축하여 조합형 문장 종속 문법(Combinatory Categorial Grammar, CCG) 구문 분석에 MWEs를 통합하는 방법을 제안한다. 통제된 실험을 통해 훈련 효과와 분석 효과를 입증하며, 특히 분석 이전에 압축이 이루어질 경우 MWE 인식 모델이 기준 모델보다 유의하게 뛰어난 성능을 보임을 보여주며, MWE 인식 품질이 구문 분석 결과에 미치는 영향의 중요성을 강조한다.

ABSTRACT

This thesis presents a study about the integration of information about Multiword Expressions (MWEs) into parsing with Combinatory Categorial Grammar (CCG). We build on previous work which has shown the benefit of adding information about MWEs to syntactic parsing by implementing a similar pipeline with CCG parsing. More specifically, we collapse MWEs to one token in training and test data in CCGbank, a corpus which contains sentences annotated with CCG derivations. Our collapsing algorithm however can only deal with MWEs when they form a constituent in the data which is one of the limitations of our approach. We study the effect of collapsing training and test data. A parsing effect can be obtained if collapsed data help the parser in its decisions and a training effect can be obtained if training on the collapsed data improves results. We also collapse the gold standard and show that our model significantly outperforms the baseline model on our gold standard, which indicates that there is a training effect. We show that the baseline model performs significantly better on our gold standard when the data are collapsed before parsing than when the data are collapsed after parsing which indicates that there is a parsing effect. We show that these results can lead to improved performance on the non-collapsed standard benchmark although we fail to show that it does so significantly. We conclude that despite the limited settings, there are noticeable improvements from using MWEs in parsing. We discuss ways in which the incorporation of MWEs into parsing can be improved and hypothesize that this will lead to more substantial results. We finally show that turning the MWE recognition part of the pipeline into an experimental part is a useful thing to do as we obtain different results with different recognizers.

연구 동기 및 목표

• CCG 분석에 다어휘어구(Multiword Expressions, MWEs)를 통합하면 문법적 분석 정확도가 향상되는지 조사하기.
• 압축된 MWE를 사용할 때 훈련 효과(모델 학습 향상)와 분석 효과(추론 시 더 나은 의사결정)를 구분하기.
• 다양한 MWE 인식 시스템이 분석 성능에 미치는 영향을 평가하며, 인식을 실험적 변수로 간주하기.
• 구성요소 기반 MWE에 초점을 맞춰 트리뱅크 데이터에서 MWE를 자동으로 압축하는 방법을 개발하고 검증하기.
• MWE 통합으로 인한 향상이 표준 비압축 기준점에서 일반화되는지 평가하기.

제안 방법

• 구성요소 기반 MWE를 문법 트리에서 식별하여 CCGbank에서 MWE를 단일 토큰으로 자동으로 압축하기.
• 압축을 분석 이전 또는 이후로 수행하여 훈련 효과와 분석 효과를 고립시키는 파ipeline 구현하기.
• 규칙 기반 및 통계 기반 등 다양한 MWE 인식기(MWE recognizers)를 실험적 구성 요소로 사용하여 인식 품질에 대한 민감도 평가하기.
• 압축된 훈련 데이터로 CCG 분석기를 훈련하고, 압축된 테스트 세트와 원본 골드 표준 테스트 세트에서 평가하기.
• 다른 평가 체계 적용: 압축된 골드 표준을 사용하는 경우, 원본 골드 표준을 사용하는 경우를 별도로 평가하고, 압축 시점에 따른 결과 비교하기.
• MWE 인식을 모듈러하고 실험적인 구성 요소로 통합하여, 분석 결과에 미치는 영향을 탐색하기.

실험 결과

연구 질문

• RQ1 훈련 데이터에서 MWE를 압축하면 모델의 일반화 능력 향상이라는 명백한 훈련 효과가 발생하는가?
• RQ2 분석 중에(MWE를 압축하면, 즉 추론 시점에) 의사결정 향상이라는 분석 효과가 발생하는가?
• RQ3 MWE 정보 통합이 표준 기준점에서 CCG 분석 정확도를 유의미하게 향상시킬 수 있는가?
• RQ4 MWE 인식기의 선택이 파ipeline의 최종 분석 성능에 미치는 영향은 어떠한가?
• RQ5 MWE 압축으로 인한 향상이 원본 비압축 기준점으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 압축된 골드 표준에서 기준 모델보다 모델이 유의미하게 뛰어나며, 압축된 데이터를 사용함으로써 훈련 효과가 명확히 입증된다.
• 데이터를 분석 이전에 압축한 경우 기준 모델의 성능이 이후에 압축한 경우보다 유의미하게 뛰어나, 압축된 입력이 의사결정을 보다 잘 돕는다는 분석 효과를 시사한다.
• MWE 정보 통합으로 인해 분석 정확도가 소폭이지만 통계적으로 유의미하게 향상되며, 특히 분석 이전에 압축이 이루어질 경우 두드러진다.
• 다양한 MWE 인식기가 다른 분석 결과를 낳으며, MWE 인식 품질이 파ipeline 성공에 결정적인 요소임을 확인한다.
• 원본 비압축 기준점에서의 향상은 관찰되지만 통계적으로 유의미하지 않아, 현재 설정 하에서는 일반화에 한계가 있음을 시사한다.
• MWE 인식을 실험적 변수로 간주하는 본 연구의 방법은 의미 있는 성능 차이를 드러내며, 분석 성능이 MWE 식별 품질에 민감함을 강조한다.