[論文レビュー] Building Interpretable Interaction Trees for Deep NLP Models

Die Zhang, Huilin Zhou+7 more|arXiv (Cornell University)|Jun 29, 2020

Topic Modeling被引用数 5

ひとこと要約

本論文は、自然言語処理用の訓練済み深層ニューラルネットワーク（DNN）における階層的単語相互作用を抽出・可視化する後処理手法を提案する。シャープレー値を用いて相互作用の利益を定量化し、BERT、ELMo、LSTM、CNN、Transformerモデルにおいても、顕著で加法的でない単語相互作用を明らかにする解釈可能な相互作用木を構築した。その結果、DNNは文法的構造とは異なる論理を学習していることが示された。

ABSTRACT

This paper proposes a method to disentangle and quantify interactions among words that are encoded inside a DNN for natural language processing. We construct a tree to encode salient interactions extracted by the DNN. Six metrics are proposed to analyze properties of interactions between constituents in a sentence. The interaction is defined based on Shapley values of words, which are considered as an unbiased estimation of word contributions to the network prediction. Our method is used to quantify word interactions encoded inside the BERT, ELMo, LSTM, CNN, and Transformer networks. Experimental results have provided a new perspective to understand these DNNs, and have demonstrated the effectiveness of our method.

研究の動機と目的

• アーキテクチャや性能を変更せずに、訓練済みDNNを解釈すること。
• 個々の単語の寄与度を超えて、深層ネットワークに埋め込まれた単語間の相互作用を客観的に定量化すること。
• 顕著な相互作用を可視化する階層的木構造を構築すること。
• 内部構成要素内および構成要素間の相互作用を含む、相互作用パターンを診断するためのメトリクスを開発すること。
• 最先端NLPモデルにおける信号処理の理解を支援する汎用的で後処理型の診断ツールを提供すること。

提案手法

• シャープレー値を用いて、モデル予測への偏りのない単語寄与度を計算し、公平性と一貫性を確保する。
• 相互作用利益を、結合寄与度と個別寄与度の和の差として定義する：$ B = \phi_{\text{all}} - \sum_{i=1}^{m} \phi_i $。
• 非リーフノードが顕著な相互作用利益を持つ構成要素を表す2分木を構築し、相互作用強度が強い部分構成要素を接続する。
• 相互作用利益が最大の2つの構成要素ペアを再帰的にマージすることで、貪欲アルゴリズムを用いて木を構築する。
• 内部構成要素内および構成要素間の相互作用の定量化、および相互作用モデリング比を含む、6つのメトリクスを導入して相互作用の性質を分析する。
• シャープレー値推定に2000回のサンプリングを用い、SST-2およびCoLAデータセット上でBERT、ELMo、LSTM、CNN、Transformerモデルに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 DNNの内部表現における複数単語間の相互作用を、どのように客観的に定量化できるか？
• RQ2 DNNは、自然言語処理タスクにおいて、文法的構造からどれほど逸脱した相互作用を学習しているか？
• RQ3 階層的木構造は、多様なDNNアーキテクチャに埋め込まれた顕著な単語相互作用を効果的に表現できるか？
• RQ4 BERT、ELMo、LSTM、CNN、Transformerといった異なるモデル間で、相互作用パターンはどのように異なるか？
• RQ5 どのようなメトリクスが、深層NLPモデルにおける単語相互作用の性質を効果的に診断・解体できるか？

主な発見

• 相互作用木は、『inconsistent』と『emotional』の間で負の相互作用が生じ、『emotional』の感情が正から負に逆転するといった、意味的で非加法的な相互作用を効果的に捉えた。
• BERTおよびTransformerモデルは、通常、順序的で階層的な相互作用パターンを示したが、CNNは『主語-動詞-句』構造を好んだ。
• CoLAデータセットでは、抽出された相互作用木と文法的木との間でBERTが36.06（ラベルなしF1）のフィットネススコアを示し、構文との一致はやや限定的であった。
• SST-2データセットでは、Transformerモデルが23.49の最高フィットネススコアを示し、他のモデルと比較してより構造的な相互作用パターンを統合していた。
• 本手法により、DNNは人間がアノテートした文法的構造とは一致しない相互作用をモデル化していることが明らかになった。これは、全モデルの平均フィットネススコアが低かったことからも裏付けられた。
• 本手法は、BERT、ELMo、LSTM、CNN、Transformerといった多様なアーキテクチャにわたり、強固に機能し、汎用性が確認された。