[論文レビュー] Multilingual Zero-shot Constituency Parsing.

Taeuk Kim, Sang‐goo Lee|arXiv (Cornell University)|Apr 8, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、事前学習言語モデルを用いて、微調整を一切行わずに9ヶ国語（英語以外を含む）で優れた性能を達成する、多言語ゼロショット構文解析のための新しいチャートベースの解析手法を提案する。この手法は、多言語PLMを活用してゼロショット環境で解析木を生成し、英語を超えた実用性と有効性を示している。

ABSTRACT

Zero-shot constituency parsing aims to extract parse trees from neural models such as pre-trained language models (PLMs) without further training or the need to train an additional parser. This paper improves upon existing zero-shot parsing paradigms by introducing a novel chart-based parsing method, showing gains in zero-shot parsing performance. Furthermore, we attempt to broaden the range of zero-shot parsing applications by examining languages other than English and by utilizing multilingual models, demonstrating that it is feasible to generate parse tree-like structures for sentences in eight other languages using our method.

研究の動機と目的

• 追加の学習やモデル微調整を必要とせずに、ゼロショット構文解析の性能を向上させること。
• 多言語事前学習言語モデルを用いて、英語に加え8ヶ国語の言語に対してもゼロショット解析を拡張すること。
• ゼロショット環境での構造的正確性を向上させるチャートベースの解析手法を開発すること。
• 低リソース言語および非英語言語において、一貫したゼロショットフレームワークを用いて解析木のような構造を生成する可能性と有効性を評価すること。

提案手法

• 多言語事前学習言語モデルの表現に直接作用するチャートベースの解析フレームワークを導入する。
• 微調整なしで、構文的スパンとその階層的関係を予測するために注目メカニズムに基づくデコードを活用する。
• 予測されたスパンとラベルから有効な解析木を効率的に構築するために動的計画法を採用する。
• mBERT や XLM-R などの多言語PLMを用いて、複数の言語で入力文を符号化する。
• スパン予測の不確実性に対処し、構造的一致性を向上させるためにソフトデコード戦略を適用する。
• 低リソース言語および言語タイプが多様な言語の多様な文法構造に対応できるように、解析アルゴリズムを適応させる。

実験結果

リサーチクエスチョン

• RQ1 チャートベースの解析手法は、既存のパラダイムに比べて、多言語データ上でより優れたゼロショット性能を達成できるか？
• RQ2 多言語事前学習言語モデルは、多様な言語においてどの程度ゼロショット構文解析を支援できるか？
• RQ3 提案手法は、単言語ゼロショットアプローチと比較して、低リソース言語および非英語言語にどの程度一般化できるか？
• RQ4 解析モジュールにおけるアーキテクチャ的選択が、構造的正確性および言語間転送に与える影響は何か？

主な発見

• 提案されたチャートベースの手法は、英語および8ヶ国語の非英語言語を含む複数の言語で、最先端のゼロショット構文解析性能を達成した。
• 特に低リソース環境において、従来のゼロショット解析手法よりも一貫した改善を示した。
• 多言語事前学習言語モデルにより、トレーニング時に見なかった言語でも解析木の生成が可能となり、効果的な言語間転送が実現した。
• 多様な文法的タイプにわたって高い構造的正確性を維持したため、言語的多様性に対して高い頑健性を示した。