[論文レビュー] Syntax-aware Multilingual Semantic Role Labeling

Shexia He, Zuchao Li+1 more|arXiv (Cornell University)|Sep 1, 2019

Natural Language Processing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、構文的ルールに従った引数プルーニング手法を用いて構文情報を統合的に神経ネットワークSRLフレームワークに効果的に組み込む、構文に配慮した多言語的意味的役割ラベリングモデルを提案する。このプルーニング機構を適用し、文脈に応じた単語表現を活用することで、7か国語のCoNLL-2009ベンチマーク言語すべてで新たな最先端の結果を達成し、2009年以降初めて包括的な多言語的SRLの改善がなされたことを示している。

ABSTRACT

Recently, semantic role labeling (SRL) has earned a series of success with even higher performance improvements, which can be mainly attributed to syntactic integration and enhanced word representation. However, most of these efforts focus on English, while SRL on multiple languages more than English has received relatively little attention so that is kept underdevelopment. Thus this paper intends to fill the gap on multilingual SRL with special focus on the impact of syntax and contextualized word representation. Unlike existing work, we propose a novel method guided by syntactic rule to prune arguments, which enables us to integrate syntax into multilingual SRL model simply and effectively. We present a unified SRL model designed for multiple languages together with the proposed uniform syntax enhancement. Our model achieves new state-of-the-art results on the CoNLL-2009 benchmarks of all seven languages. Besides, we pose a discussion on the syntactic role among different languages and verify the effectiveness of deep enhanced representation for multilingual SRL.

研究の動機と目的

• 英語や中国語以外の言語において長年の性能格差が生じている多言語的意味的役割ラベリングの課題を解決すること。
• 統一された多言語的SRLフレームワークにおいて、構文の統合と深層的文脈に応じた単語表現の有効性を調査すること。
• 多様な言語にわたる神経SRLモデルに構文構造を効果的に組み込む、簡潔で効果的な手法を開発すること。
• 距離に基づくルールに依存する従来の構文的プルーニング手法の限界を克服し、言語間で一般化できない問題を解消すること。
• 7か国語すべてのCoNLL-2009言語で一貫した性能向上を達成し、2009年以来変更されていなかった結果を更新すること。

提案手法

• 構文的従属木構造に基づいた新しい引数プルーニング手法を提案し、距離に基づくk階層プルーニングに代えて、文法に配慮したフィルタリングを実施する。
• プルーニング層をBiLSTMエンコーダーと双アフィンスコアラーの間に配置し、分類の前に不適切な引数候補をフィルタリングする。
• 7か国語すべてに同一のモデルアーキテクチャを適用し、言語固有の構文パターンを維持しながら統合学習を可能にする。
• 文脈に応じた単語表現（例：BERTスタイル）を入力埋め込みとして採用し、意味的・構文的理解を強化する。
• 双アフィン注釈を用いた役割分類のため、述語-引数ペair分類を用いてエンドツーエンドでモデルを学習する。
• 標準的なCoNLL-2009メトリクス（F1スコアおよび構文の質を測る未ラベル化アタッチメントスコア（UAS））を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 構文に配慮した引数プルーニング機構は、多様な言語にわたる多言語的SRL性能を向上させることができるか？
• RQ2 深層的文脈に応じた単語表現と組み合わせた場合、構文情報は多言語的SRLにどのように寄与するか？
• RQ3 ルールベースのプルーニングを用いた統一モデルアーキテクチャは、構文構造が異なる言語間で効果的に一般化できるか？
• RQ4 k階層プルーニングはなぜ最先端のSRLモデルで性能向上をもたらさないのか？文法に基づく代替手法はこれを克服できるか？
• RQ5 ベースラインがすでに構文に依存しないが強力な状態である場合、構文情報はどの程度SRL性能を向上させることができるか？

主な発見

• 提案された構文に配慮した引数プルーニング手法は、Catalan、Chinese、Czech、English、German、Japanese、Spanishを含む7か国語すべてのCoNLL-2009ベンチマーク言語で、新たな最先端のF1スコアを達成した。
• CatalanおよびSpanishでは、ゴール構文に基づくトップ1引数プルーニングが100％のカバレッジを達成し、それぞれ1.43％および1.35％の顕著な性能向上をもたらした。
• 文脈に応じた単語表現を用いたモデルは、すべての言語でこれまで報告された結果を上回り、CoNLL-2009共同タスク以降で初めての全体的な更新を達成した。
• 高品質な予測された構文（UASで測定）は、モデル性能をさらに向上させ、構文情報が多言語的SRLにおいて価値を持つことを裏付けた。
• k階層プルーニングはほとんどの言語で性能向上をもたらしたが、英語では効果が得られず、現在の構文統合手法の限界を示唆した。
• 本研究は、構文情報と深層的強化表現が、英語に限らず幅広い多言語的SRLタスクにおいて有益であることを示した。