[論文レビュー] AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models

Eric Wallace, Jens Tuyls+4 more|arXiv (Cornell University)|Sep 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 14

ひとこと要約

AllenNLP Interpret は、勾配ベースのサリエンシー マップと悪意のある攻撃を用いて NLP モデルのインスタンスレベルの解釈を可能にする、オープンソースで拡張可能なフレームワークです。モデルに依存しない API、再利用可能な可視化コンponents、AllenNLP とのシームレスな統合を提供しており、BERT や BiDAF を含む多様なモデルを、名前付きエンティティ認識やマスキング言語モデル化などのタスクで、最小限のコード変更で解釈できます。

ABSTRACT

Neural NLP models are increasingly accurate but are imperfect and opaque---they break in counterintuitive ways and leave end users puzzled at their behavior. Model interpretation methods ameliorate this opacity by providing explanations for specific model predictions. Unfortunately, existing interpretation codebases make it difficult to apply these methods to new models and tasks, which hinders adoption for practitioners and burdens interpretability researchers. We introduce AllenNLP Interpret, a flexible framework for interpreting NLP models. The toolkit provides interpretation primitives (e.g., input gradients) for any AllenNLP model and task, a suite of built-in interpretation methods, and a library of front-end visualization components. We demonstrate the toolkit's flexibility and utility by implementing live demos for five interpretation methods (e.g., saliency maps and adversarial attacks) on a variety of models and tasks (e.g., masked language modeling using BERT and reading comprehension using BiDAF). These demos, alongside our code and tutorials, are available at https://allennlp.org/interpret .

研究の動機と目的

• 多様なアーキテクチャとタスクにわたる NLP モデルの解釈のための柔軟で再利用可能なツールの不足に対処すること。
• 解釈法を適用または拡張したい実務家や解釈研究者にとっての実装負荷を軽減すること。
• 従来の埋め込み行列を持たない、最新の文脈依存モデル（例：BERT や ELMo）の解釈を可能にすること。
• モデルの透明性とユーザーの信頼を高めるために、インタラクティブで再利用可能な可視化を提供すること。
• スケーラブルな解釈ワークフローを実現するため、ライブ デモとバッチ処理の両方をサポートすること。

提案手法

• 任意の AllenNLP モデルに対して入力勾配を計算できる、モデルおよびタスクに依存しない API を提供し、勾配ベースの解釈を実現します。
• ヴァリエーション グラデント、統合勾配、スムーズ・グラデントの3つのサリエンシー手法を実装しており、それぞれがモデル自身の予測値を損失計算に使用します。
• ELMo や BERT のようなモデルの最後の非文脈的層から導出される文脈に依存しない埋め込み行列を導入し、悪意ある攻撃における離散トークン探索を可能にします。
• 再利用可能な HTML/JavaScript コンponents を使用した AllenNLP デモ Web フレームワークを用いて、サリエンシーと悪意ある摂動のインタラクティブな可視化を実装します。
• モジュール化されたチュートリアルと最小限のコード変更により、新しいモデルや解釈法のプラグアンドプレイ統合を可能にします。
• 解釈結果のためのオンラインインタラクティブ デモとオフライン バッチ処理の両方をサポートします。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様な NLP モデルとタスクにわたって解釈法をアクセス可能で再利用可能なものにすることができるか？
• RQ2 BERT のような文脈依存モデルに勾配ベースおよび悪意ある攻撃による解釈法を適用する際に生じる課題は何か？
• RQ3 統一されたフレームワークは、実際の展開において解釈ツールの導入にかかるエンジニアリング負荷をどのように軽減できるか？
• RQ4 再利用可能なフ론トエンドコンponents は、インタラクティブなモデル解釈ツールの展開を著しく簡素化できるか？
• RQ5 従来の離散的埋め込み行列を持たない最新の文脈埋め込みに対応するため、既存の解釈法をどのように適合できるか？

主な発見

• AllenNLP Interpret は、最小限のコード変更で、任意の AllenNLP モデルを勾配ベースのサリエンシーと悪意ある攻撃を用いて解釈可能にします。
• フレームワークは、BERT や ELMo のような文脈モデルの解釈を成功裏にサポートしており、悪意ある攻撃における離散的トークン探索を可能にする文脈に依存しない埋め込み行列を構築しています。
• サリエンシーと悪意ある例のためのインタラクティブな可視化は、1行の HTML で実装されており、高い再利用性と低い統合オーバーヘッドを示しています。
• ライブ デモでは、SQuAD モデルが語彙的重複に依存していることや、NER モデルが 'in downtown' に基づいて 'Location' を予測していることといった、モデルのバイアスや意思決定ルールが明らかになりました。
• ツールキットは、感情分析モデルが trigram 'tony hawk style' にだまされるようなモデルの誤りを診断するのを可能にしました。
• フレームワークは、リアルタイムのインタラクティブな解釈とオフラインのバッチ処理の両方をサポートしており、研究および展開の両方の文脈でその有用性が向上しています。