[論文レビュー] Contextualized Non-local Neural Networks for Sequence Learning

Pengfei Liu, Shuaichen Chang+3 more|arXiv (Cornell University)|Nov 21, 2018

Topic Modeling被引用数 6

ひとこと要約

本稿では、自己注意（Transformer）とグラフニューラルネットワーク（GNN）を組み合わせることで、タスク固有の文構造を動的に学習する、文脈に応じた非局所ニューラルネットワーク（CN³）という新しいアーキテクチャを提案する。局所的な語の依存関係と非局所的な長距離注意を統合することで、10の自然言語処理（NLP）タスクで最先端または競争力のある性能を達成するとともに、解釈可能でタスクに依存する依存構造を提供する。

ABSTRACT

Recently, a large number of neural mechanisms and models have been proposed for sequence learning, of which self-attention, as exemplified by the Transformer model, and graph neural networks (GNNs) have attracted much attention. In this paper, we propose an approach that combines and draws on the complementary strengths of these two methods. Specifically, we propose contextualized non-local neural networks (CN$^{ extbf{3}}$), which can both dynamically construct a task-specific structure of a sentence and leverage rich local dependencies within a particular neighborhood. Experimental results on ten NLP tasks in text classification, semantic matching, and sequence labeling show that our proposed model outperforms competitive baselines and discovers task-specific dependency structures, thus providing better interpretability to users.

研究の動機と目的

• Transformerが局所的依存関係を捉えることの限界と、GNNがシーケンス学習における柔軟でタスクに適応可能な構造を欠いていることに対処する。
• 既存モデルの固定された構造的バイアスを克服し、タスク要件に応じて動的に文グラフを学習する。
• 局所的な文脈表現と非局所的注意を統合し、複雑な文構造と語の依存関係のモデリングを向上させる。
• 入力シーケンス内のタスク固有の依存パターンを発見・可視化することで、モデルの解釈性を向上させる。
• 学習されたエッジ重みと属性に配慮したメッセージパッシングを通じて、構造の解釈可能性を保ちながら、多様なNLPタスクで優れた性能を示す。

提案手法

• すべての語のペアを潜在的な接続としてモデル化することで、自己注意メカニズムをグラフニューラルネットワークに拡張し、非局所的依存関係の学習を可能にする。
• タスク固有の関係を動的に表現する学習可能なエッジ重みを導入し、固定された構文的または従属構造に置き換える。
• ノードおよびエッジの属性（例：品詞タグ、従属関係）をメッセージパッシングに組み込み、局所的表現を豊かにする。
• 微分可能で注意に基づく集約メカニズムを用いて、局所的およびグローバルな依存関係を組み合わせた文脈に応じた表現を計算する。
• シーケンス分類、マッチング、ラベリングタスクにおいて、標準的なNLP損失関数（例：交差エントロピー）を用いてエンドツーエンドでモデルを訓練する。
• 学習されたエッジ重みを可視化することで解釈性を実現し、質問パターンや構文的断片のような意味のある部分構造を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 動的に文構造を学習するモデルは、固定構造モデルに比べてシーケンス学習タスクで優れた性能を発揮できるか？
• RQ2 局所的および非局所的バイアスが、多様なNLPタスクにおける性能向上にどのように寄与するか？
• RQ3 モデル内の学習されたエッジ重みが、解釈可能でタスク固有の言語的パターンをどの程度明らかにできるか？
• RQ4 ノードおよびエッジの属性は、シーケンス内の意味のある依存関係を捉える能力にどのように影響するか？
• RQ5 GNN風の局所的メッセージパッシングとTransformer風のグローバルな注意を統合することで、より優れた文脈に応じた表現が得られるか？

主な発見

• CN³は、テキスト分類、意味的マッチング、シーケンスラベリングを含む10のNLPタスクで、競合モデルを上回り、広範な有効性を示した。
• モデルは、質問分類において「What ... birthday」といったパターンを発見し、正確な予測に不可欠なタスク固有の依存構造を学習した。
• 意味的マッチングタスクでは、『is rising from』や『is coming out of』といった構文的に意味のある部分構造を学習し、含意予測の鍵をなした。
• 依存関係などの属性を組み込んだモデルは、属性を考慮しないモデルよりも優れた性能を示し、属性に配慮した学習が構造の発見を向上させることを示した。
• 可視化により、学習されたエッジ重みが質問語とそのターゲットの間の強い接続といった解釈可能な言語的パターンを反映していることが確認された。
• アブレーションスタディの結果、標準的なTransformerには局所的バイアスが欠如しているため、特にシーケンスラベリングタスクで性能が制限されており、CN³がGNN風の局所的インダクティブバイアスによってこれを克服した。