[論文レビュー] Chart-based Zero-shot Constituency Parsing on Multiple Languages

Taeuk Kim, Bowen Li+1 more|arXiv (Cornell University)|Sep 22, 2020

Natural Language Processing Techniques参考文献 44被引用数 5

ひとこと要約

この論文は、微調整を必要としない事前学習言語モデル（PLM）を活用するチャートベースのゼロショット構文解析手法を提案し、英語のPTBで競争力のある性能を達成するとともに、単語言語および多言語PLMを用いて9言語へのゼロショット解析を拡張する。本手法は、新規のチャートベースのデコード戦略と効果的なアンサンブル技術を組み合わせることで、多様な言語において言語に依存しない、教師なしの解析を実現する。

ABSTRACT

Zero-shot constituency parsing is a recent methodology in unsupervised parsing that aims to extract parse trees from pre-trained language models (PLMs) with no extra training. This paper improves upon the existing paradigm by introducing the combination of a novel chart-based method and an effective ensemble technique, attaining performance competitive to other unsupervised parsers on English PTB. Furthermore, we broaden the range of zero-shot parsing application by examining languages other than English. Specifically, we first demonstrate that the approach is applicable to the languages that are equipped with their respective monolingual PLMs. Finally, we propose to introduce multilingual PLMs into the zero-shot parsing framework, confirming that it is possible to generate reasonable parses for sentences in nine languages in an integrated and language-agnostic manner.

研究の動機と目的

• 構文解析用の訓練データを一切必要としないゼロショット構文解析手法の開発。
• 単語言語PLMを用いて、英語以外の言語に対してもゼロショット解析を適用することで、英語を超えた言語への拡張を実現。
• 多言語PLMを用いて、統一的かつ言語に依存しないゼロショット解析の可能性を検証。
• 新規のチャートベースのデコード戦略とアンサンブル技術を通じて、パーサーの性能を向上。

提案手法

• 訓練を必要とせず、PLMの表現から構文構造を効率的に探索するチャートベースのデコード手法を提案。
• 多様な言語的パターンに対応するための、複数のデコード戦略のアンサンブルを採用し、耐性と性能を向上。
• 利用可能な事前学習済みモデルが存在する言語に対して、単語言語PLMを活用してゼロショット解析を可能にする。
• フレームワークを多言語PLMに拡張し、9言語にわたる一様で言語に依存しない形での解析を実現。
• PLMからの注目パターンと文脈表現を活用し、チャート構築とパーサー意思決定を支援。

実験結果

リサーチクエスチョン

• RQ1 チャートベースのゼロショットパーサーは、訓練なしで英語PTBベンチマークで競争力のある性能を達成できるか？
• RQ2 提案手法は、単語言語PLMを用いて英語以外の言語に対しても成功裏に適用可能か？
• RQ3 多言語PLMを用いて、単一の統一フレームワーク内で複数の言語にわたるゼロショット解析を実現することは可能か？
• RQ4 アンサンブル技術は、個々のデコード戦略と比較して、パーサー品質をどのように向上させるか？

主な発見

• 提案手法は、英語PTBベンチマークにおいて、既存の教師なしパーサーと同等の性能を達成する。
• 単語言語PLMを用いたアプローチは、英語を超えて広範な言語に適用可能であることを示し、英語以外の言語に対しても成功裏にゼロショット解析を実現する。
• 多言語PLMを用いることで、一様で言語に依存しないフレームワーク内で9言語にわたる効果的なゼロショット解析が可能になる。
• チャートベースのデコード戦略とアンサンブル技術の組み合わせにより、パーサーの品質と耐性が著しく向上する。