[論文レビュー] Bridging the Gap: Attending to Discontinuity in Identification of Multiword Expressions

Omid Rohanian, Shiva Taslimipoor+3 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling参考文献 20被引用数 10

ひとこと要約

本論文は、依存構文解析木と長距離注意機構を活用して非隣接関係を捉えるために、グラフ畳み込みネットワーク（GCN）とマルチヘッド自己注意機構を組み合わせた新規ハイブリッド深層学習モデルを提案する。このモデルは、4つの言語で不連続マルチワード表現（MWE）の検出において最先端の性能を達成し、特に英語およびフランス語で最高の結果を示し、強力なベースラインを最大10.5%向上させる。

ABSTRACT

We introduce a new method to tag Multiword Expressions (MWEs) using a linguistically interpretable language-independent deep learning architecture. We specifically target discontinuity, an under-explored aspect that poses a significant challenge to computational treatment of MWEs. Two neural architectures are explored: Graph Convolutional Network (GCN) and multi-head self-attention. GCN leverages dependency parse information, and self-attention attends to long-range relations. We finally propose a combined model that integrates complementary information from both through a gating mechanism. The experiments on a standard multilingual dataset for verbal MWEs show that our model outperforms the baselines not only in the case of discontinuous MWEs but also in overall F-score.

研究の動機と目的

• 非隣接構成要素を有する不連続MWEのNLP分野における未解明な課題に対処すること。これは、非隣接性のため検出が困難である。
• 文脈的解釈が可能で言語に依存しない深層学習アーキテクチャを構築し、構文的および意味的特異性を処理すること。
• GCNを用いて構文的依存関係をモデル化し、自己注意機構を用いて長距離シーケンス依存関係を捉えることで、不連続MWEの検出を向上させること。
• 多言語ベンチマーク上でモデルを評価し、多様なMWEタイプおよび言語にわたる頑健性を示すこと。
• GCNと自己注意機構の融合を実現するゲーティング統合機構を提案し、個々のコンponentを上回る性能を実現すること。

提案手法

• 隣接行列を用いて単語間の関係をモデル化する依存構文解析木にGCN層を適用し、3つの関係タイプ（主語から目的語、目的語から主語、自己ループ）を扱う。
• GCNは、学習可能な重みと非線形活性化関数を用いて隣接ノードの重み付き和によりノード表現を計算し、$ C_s = f(W_s X^T A + b_s) $ で定義される。
• マルチヘッド自己注意機構は、各位置に対して$ O(1) $の計算量でシーケンス全体に注目することで文脈に適した表現を計算し、長距離依存関係のモデル化を可能にする。
• ハイウェイネットワークを用いてGCN出力と自己注意出力の融合をゲーティングし、構文的および順序的特徴の動的統合を可能にする。
• 最終的なモデルは、GCNおよび注意特徴を入力とするBi-LSTMに続き、CRFデコードを用いてシーケンスラベル付けを行う。
• モデルは、動詞的MWEの多言語データセット上でエンドツーエンドに訓練され、MWEベースのFスコアを用いて性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 依存構文解析構造を活用することで、GCNベースのアーキテクチャは不連続MWEを効果的にモデル化できるか？
• RQ2 自己注意機構は、非隣接トークン間の長距離依存関係を捉えることでMWE検出を向上させられるか？
• RQ3 GCNと自己注意機構をハイブリッド化したモデルは、個々のコンponentおよび最先端のベースラインを上回り、連続的および不連続的MWEの両方を識別できるか？
• RQ4 構文的構造やMWE分布、不連続率の異なる言語間で、モデルの性能はどのように変化するか？
• RQ5 ゲーティング統合や関係タイプの集約といったアーキテクチャ的選択が、識別精度にどの程度影響を与えるか？

主な発見

• GCNベースのモデルは、4言語すべてで不連続MWEのベースラインを上回り、英語ではFスコアで7.6%の向上（24.15 vs. 16.53）を達成した。
• ゲーティング機構を介してGCNと自己注意機構を統合したH-コンビネッドモデルは、英語で41.91、フランス語で70.97という最高の全体Fスコアを記録し、ベースラインおよびSOTAシステムを上回った。
• 不連続MWEにおいて、H-コンビネッドモデルはフランス語でFスコアを6.1%向上（63.90 vs. 58.70）、英語で5.6%向上（22.73 vs. 16.53）した。
• ペルシャ語（FA）のような低不連続率言語（MWEの21%が不連続）においても、不連続MWEの検出で一貫した向上が見られ、データスパarsityに強いことが示された。
• 受動態構文や長距離ギャップ（例：5トークン離隔）のような複雑な構文的構造において、GCN単体では失敗するが、H-コンビネッドモデルは正しくMWEを同定できた。これは、長距離推論に自己注意機構が有効であることを示している。
• アブレーションスタディにより、GCNおよび自己注意機構が性能向上に独立して寄与していることが確認され、ハイブリッドモデルが全言語およびMWEタイプで最良の結果を達成した。