[論文レビュー] Evaluating neural network explanation methods using hybrid documents and morphological agreement

Nina Poerner, Benjamin Roth+1 more|arXiv (Cornell University)|Jan 19, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 8

ひとこと要約

本論文は、NLPモデルの説明手法を評価するための、注釈を必要としない2つの新しい評価パラダイム——ハイブリッドドキュメントと形態句法学的一致——を導入する。LIMEにインspiredされた単語順序に敏感なモデル向けの手法LIMSSEを提案し、CNN、RNN、準RNNの各アーキテクチャにおいて、LRP、DeepLIFT、LIMSSEが最も効果的な説明手法であることを実証的に示している。

ABSTRACT

The behavior of deep neural networks (DNNs) is hard to understand. This makes it necessary to explore post hoc explanation methods. We conduct the first comprehensive evaluation of explanation methods for NLP. To this end, we design two novel evaluation paradigms that cover two important classes of NLP problems: small context and large context problems. Both paradigms require no manual annotation and are therefore broadly applicable. We also introduce LIMSSE, an explanation method inspired by LIME that is designed for NLP. We show empirically that LIMSSE, LRP and DeepLIFT are the most effective explanation methods and recommend them for explaining DNNs in NLP.

研究の動機と目的

• NLPにおける事後的説明手法の信頼性とスケーラビリティに欠ける評価手法の不足に対処すること。
• 高コストな人手による注釈に依存しない評価パラダイムを設計し、NLPタスク全体に広く適用可能にする。
• CNN、RNN、準RNNを含む多様なNLPアーキテクチャにおいて、既存の説明手法（例：LIME、LRP、DeepLIFT）の有効性を評価すること。
• RNNやCNNのような単語順序に敏感なモデルに特化した、LIMSSE（局所的重要性モデル：置換とシャッフルを伴う）という新たな説明手法を導入・検証すること。
• 特にGDPRのような規制要件を満たす必要がある実世界のNLP導入において、最も信頼性が高い説明手法を選定するための実証的指針を提供すること。

提案手法

• ハイブリッドドキュメントパラダイムを設計：異なるドキュメントの断片をランダムに連結してハイブリッド入力を生成し、元のドキュメントのラベルを保持する。
• 形態句法学的一致パラダイムを設計：主語・動詞の一致が異なる文のペア（例：'the children [verb]' と 'the child [verb]'）を用い、長距離依存関係における説明手法の評価を行う。
• LIMSSE（局所的重要性モデル：置換とシャッフルを伴う）を導入：特徴量の重要度を推定するために、語をマスキングおよび置換することで摂動を加えた入力を生成するLIMEにインspiredされた手法。
• ハイブリッドドキュメントおよび形態句法学的一致の両パラダイムにおいて、タスクモデル（CNN、GRU、LSTMなど）に説明手法（LIMSSE、LRP、DeepLIFTなど）を適用し、入力トークンの関連スコアを生成する。
• ハイブリッドおよび一致タスクにおけるモデル予測の真値を用いて説明の整合性を検証：正しい説明手法は、正しい入力断片に高い関連度を割り当てるべきである。
• 相関係数と摂動に対する一貫性といった指標を用いて、説明の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 小規模なコンテキストタスクにおけるNLPモデルの予測を説明する既存の手法（例：LRP、DeepLIFT、LIME）は、どの程度効果的か？
• RQ2 長距離依存関係を含む大規模コンテキストタスク（例：主語・動詞一致）において、説明手法は信頼性を持って正しい言語的手がかりを特定できるか？
• RQ3 ハイブリッドドキュメントおよび形態句法学的一致タスクにおいて、LIMSSEは他の説明手法と比較して、正確性および一貫性の面で優れているか？
• RQ4 人手による関連度ベンチマークは、モデル内部の注目パターンとどの程度一致するのか？また、なぜそれらが誤解を招く可能性があるのか？
• RQ5 CNN、RNN、準RNNを含む多様なNLPアーキテクチャおよびタスクタイプにおいて、どの説明手法が最も頑健かつ信頼性が高いか？

主な発見

• ハイブリッドドキュメントパラダイムは、手動の注釈を一切必要とせず、小コンテキストタスクにおける説明手法の評価を成功裏に実現し、スケーラブルな評価を可能にした。
• 形態句法学的一致パラダイムは、主語・動詞一致を含む長コンテキストNLPタスクにおける説明手法の評価に、信頼性があり自動的なベンチマークを提供した。
• ハイブリッドドキュメント評価において、LIMSSEは他の手法を上回り、混合ドキュメント入力における関連断片の特定に特に優れていた。
• LRPとDeepLIFTは、両評価パラダイムにおいて最も高い一貫性を示し、多様なNLPアーキテクチャにわたる頑健なパフォーマンスを示した。
• LIMEに基づく手法（LIMSSEを含む）は、RNNやCNNのような単語順序に敏感なモデルにおいて強く性能を発揮し、このようなアーキテクチャに特化していない手法を上回った。
• 人手による関連度ベンチマークは、モデルの挙動を反映していない可能性があることが示された。例として、モデルが人手でマークされないレア語（例：'Kolstad'）に注目する事例が確認され、モデル内部の評価の必要性が強調された。