[논문 리뷰] Chart-based Zero-shot Constituency Parsing on Multiple Languages

Taeuk Kim, Bowen Li외 1명|arXiv (Cornell University)|2020. 09. 22.

Natural Language Processing Techniques참고 문헌 44인용 수 5

한 줄 요약

이 논문은 사전 미세조정(fine-tuning)을 거치지 않은 사전학습된 언어 모델(PLMs)을 활용하여 영어 PTB 및 9개 언어에서 경쟁적인 성능을 달성하는 차트 기반의 제로샷 구성 구문 분석 방법을 제안한다. 이 방법은 새로운 차트 기반 디코딩 전략과 효과적인 앙상블 기법을 결합하여 다양한 언어 간에 언어에 관계없이 무 supervision으로 구문 분석을 수행할 수 있도록 한다.

ABSTRACT

Zero-shot constituency parsing is a recent methodology in unsupervised parsing that aims to extract parse trees from pre-trained language models (PLMs) with no extra training. This paper improves upon the existing paradigm by introducing the combination of a novel chart-based method and an effective ensemble technique, attaining performance competitive to other unsupervised parsers on English PTB. Furthermore, we broaden the range of zero-shot parsing application by examining languages other than English. Specifically, we first demonstrate that the approach is applicable to the languages that are equipped with their respective monolingual PLMs. Finally, we propose to introduce multilingual PLMs into the zero-shot parsing framework, confirming that it is possible to generate reasonable parses for sentences in nine languages in an integrated and language-agnostic manner.

연구 동기 및 목표

• 구문 분석을 위한 어떤 학습 데이터도 필요로 하지 않는 제로샷 구성 구문 분석 방법을 개발하는 것.
• 영어 외의 다수의 언어에 대해 단일 언어 기반 사전학습된 언어 모델(PLMs)을 활용하여 제로샷 구문 분석을 확장하는 것.
• 통합된 언어에 관계없는 제로샷 구문 분석을 가능하게 하기 위해 다국어 PLMs의 사용 가능성 여부를 조사하는 것.
• 새로운 차트 기반 디코딩 전략과 앙상블 기법을 통해 구문 분석 성능을 향상시키는 것.

제안 방법

• 학습 없이 PLM 표현으로부터 문법적 구조를 효율적으로 탐색할 수 있는 차트 기반 디코딩 방법을 제안한다.
• 다양한 언어적 패턴에 걸쳐 강건성과 성능을 향상시키기 위해 다양한 디코딩 전략의 앙상블를 활용한다.
• 사전에 트레이닝된 모델이 존재하는 언어를 위해 단일 언어 기반 PLMs를 활용하여 제로샷 구문 분석을 가능하게 한다.
• 다국어 PLMs를 활용하여 9개 언어에서 통합적이고 언어에 관계없는 방식으로 구문 분석을 지원하도록 프레임워크를 확장한다.
• PLMs의 어텐션 패턴과 맥락적 표현을 활용하여 차트 구성 및 구문 분석 결정을 안내한다.

실험 결과

연구 질문

• RQ1 차트 기반 제로샷 구문 분석 방법이 어떤 학습도 필요 없이 영어 PTB에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 제안된 방법이 단일 언어 기반 PLMs를 활용하여 영어 외의 언어에 성공적으로 적용될 수 있는가?
• RQ3 단일 통합 프레임워크 내에서 다국어 PLMs를 사용하여 다수의 언어에서 제로샷 구문 분석을 수행하는 것이 가능한가?
• RQ4 앙상블 기법이 개별 디코딩 전략 대비 구문 분석 품질을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 영어 PTB 벤치마크에서 기존의 비지도 학습 파서와 경쟁하는 성능을 달성한다.
• 이 방법은 단일 언어 기반 PLMs를 활용하여 영어 외의 언어에 대해서도 제로샷 구문 분석을 성공적으로 구현하여 영어를 초월한 광범위한 적용 가능성을 보여준다.
• 다국어 PLMs를 통해 하나의 언어에 관계없는 통합 프레임워크 내에서 9개 언어에서 효과적인 제로샷 구문 분석을 가능하게 한다.
• 차트 기반 디코딩과 앙상블 기법의 조합은 구문 분석 품질과 강건성을 크게 향상시킨다.