[論文レビュー] Interpretation of Black Box NLP Models: A Survey

Shivani Choudhary, Niladri Chatterjee+1 more|arXiv (Cornell University)|Mar 31, 2022

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本サーベイは、ブラックボックスNLPモデルの解釈可能性手法について包括的な概要を提供し、特徴量の重要度、対抗的例、対応的説明、局所的スレーブモデル、因果的手法の5つの主要なアプローチに手法を分類している。手法間の連携の可能性を強調し、標準化された評価の欠如といった主な課題を特定するとともに、医療、刑事司法、金融などハイリスク分野における倫理的で信頼性があり公正なAI応用の実現に向け、ユーザー中心の解釈可能性の重要性を強調している。

ABSTRACT

An increasing number of machine learning models have been deployed in domains with high stakes such as finance and healthcare. Despite their superior performances, many models are black boxes in nature which are hard to explain. There are growing efforts for researchers to develop methods to interpret these black-box models. Post hoc explanations based on perturbations, such as LIME, are widely used approaches to interpret a machine learning model after it has been built. This class of methods has been shown to exhibit large instability, posing serious challenges to the effectiveness of the method itself and harming user trust. In this paper, we propose S-LIME, which utilizes a hypothesis testing framework based on central limit theorem for determining the number of perturbation points needed to guarantee stability of the resulting explanation. Experiments on both simulated and real world data sets are provided to demonstrate the effectiveness of our method.

研究の動機と目的

• 医療、刑事司法、金融などハイリスク分野におけるNLP応用における解釈可能性の重要なニーズに対応すること。
• 特徴量の重要度、対抗的例、対応的説明、スレーブモデル、因果的アプローチを含む、NLPにおける解釈可能性手法の特定と分類すること。
• 現在の解釈可能性手法の限界、特に標準化された評価指標やユーザー中心の設計の欠如を検討すること。
• 偏りのあるデータセットで学習されたモデルにおけるバイアスや公平性といった倫理的懸念を強調すること。
• 人間の理解、責任の所在、モデル意思決定への信頼を支援する解釈可能性手法を提唱すること。

提案手法

• 解釈可能性手法を5つのカテゴリに分類：特徴量の重要度、対抗的例、対応的説明、局所的スレーブモデル、因果的手法。
• 勾配ベースおよびサリエンシーに基づく手法（例：Integrated Gradients、Grad-CAM）を用いて、影響力のある入力トークンを同定する。
• 対抗的例（AE）を入力空間における摂動として扱い、モデルの頑健性をテストし、入力摂動による説明を生成する。
• マスクされた入力や制御コマンド（例：否定）を用いて、予測を変更する代替入力を生成する対応的説明（CE）を検討する。
• GPT-2 や T5（例：Polyjuice や MiCE で使用）の事前学習済み言語モデルを活用し、意味的に整合性のある対応的説明を生成する。
• 因果メディエーション解析やプロービング技術を用いて、モデル表現内での特定の特徴量や概念の効果を隔離する。

実験結果

リサーチクエスチョン

• RQ1 異なる専門知識レベルの最終ユーザーにとって意味のある形で、NLPモデルの解釈可能性をどのように評価できるか。
• RQ2 NLPにおける因果的でない解釈可能性手法と因果的解釈可能性手法の主な違いは何か。また、それらはモデルの頑健性とどのように関連しているか。
• RQ3 既存の解釈可能性手法が、モデル予測におけるバイアスや公平性といった倫理的懸念をどの程度取り扱っているか。
• RQ4 対応的例や対抗的例をどのように活用することで、モデルの透明性と信頼性を向上させられるか。
• RQ5 なぜ解釈可能性のための標準化された定量的評価指標が存在しないのか。この問題をどのように解決できるか。

主な発見

• 解釈可能性の普遍的で明確な定義や評価指標が存在しないため、研究間でのベンチマークが一貫性を欠いている。
• 対応的説明やメディエーション解析を含む因果的解釈可能性手法は、特定の特徴量の効果を隔離することで、モデル意思決定の説明に強く有望な可能性を示している。
• MiCE や Polyjuice といった手法では、微調整された T5 や GPT-2 モデルを用いて、高い信頼性と解釈可能性を兼ね備えた意味的に整合性のある対応的説明を生成している。
• 対抗的例や入力摂動は、モデルの脆弱性を明らかにし、例えば画像ベースのNLPタスクにおける雪のパッチのような誤った相関関係を特定するのを支援する。
• 自然言語による説明や対応的説明は、モデルパラメーターや注意マップよりも、非専門家ユーザーにとってよりアクセスしやすい。
• 進展は見られるものの、大多数の解釈可能性手法は依然としてモデル開発者を対象としており、ユーザー中心の設計のギャップが顕在化している。