[論文レビュー] VeriX: Towards Verified Explainability of Deep Neural Networks

Min Wu, Haoze Wu+1 more|arXiv (Cornell University)|Dec 2, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

VeriX は、制約充足と特徴レベルの感度ランク付けを用いて、連続的かつ無限の摂動に対して形式的保証を備えた最適で頑健な説明を生成する形式的説明可能性フレームワークを導入する。また、意思決定境界に沿って対向的例（counterfactuals）を自動生成し、画像認識および自律航空機の-taxiing タスクにおいてスケーラビリティと形式的妥当性を示している。

ABSTRACT

We present VeriX (Verified eXplainability), a system for producing optimal robust explanations and generating counterfactuals along decision boundaries of machine learning models. We build such explanations and counterfactuals iteratively using constraint solving techniques and a heuristic based on feature-level sensitivity ranking. We evaluate our method on image recognition benchmarks and a real-world scenario of autonomous aircraft taxiing.

研究の動機と目的

• LIME や SHAP のようなモデルに依存しない説明手法に形式的保証が欠如していること、特に分布シフト下でバイアスが隠蔽されたり失敗したりする可能性があることに対処する。
• 単純なモデルや離散的摂動しか扱えない既存の形式的説明手法におけるスケーラビリティと精度の制限を克服する。
• 入力空間における連続的かつ無限の摂動に対して頑健で、計算上の実行可能性を維持する最適で最小限の説明を生成する。
• 説明と対向的例の間の形式的リンクを確立し、追加コストなしに自動的に対向的例を生成可能にする。
• 自律航空機の-taxiing など、実世界の安全が重要な応用分野においてフレームワークを評価し、実用的な信頼性を示す。

提案手法

• 入力空間における連続的かつ無限の摂動に対して形式的保証を備えた頑健な説明を生成するために、制約充足を用いる。
• 高次元入力に対してスケーラビリティを向上させるために、特徴レベルの感度ランク付けヒューリスティックを用いて最適な説明の探索をガイドする。
• 摂動によってモデルの予測が変化するかどうかを検証するため、検証器（例：DeepPoly や完全探索）を統合し、妥当性を保証する。
• 無関係な集合 B と説明集合 A を維持する再帰的精錬プロセスを適用し、検証結果に基づいて特徴を段階的に除外する。
• 説明と対向的例の双対性を活用：説明集合 A に含まれる特徴は、予測を変化させることができるため、自動的に対向的例を生成可能である。
• 完全かつ不完全な検証手順（例：DeepPoly）をサポートし、説明のサイズと生成時間のトレードオフを許容する。

実験結果

リサーチクエスチョン

• RQ1 連続的かつ無限の摂動に対して形式的保証を備えた最適で最小限の説明を、深層ニューラルネットワークに対して生成可能か？
• RQ2 高次元入力および大規模モデルに対して、説明生成プロセスをどのように効率的にスケーリングできるか？
• RQ3 説明と対向的例の関係は何か？また、説明プロセスから対向的例を自動的に生成可能か？
• RQ4 不完全な検証（例：DeepPoly）を用いることで、完全探索と比較して説明のサイズと生成時間にどのような影響があるか？
• RQ5 このフレームワークは、自律航空機の-taxiing のような実世界の安全が重要な応用分野に効果的に適用可能か？

主な発見

• VeriX は、連続的摂動に対して形式的保証を備えた形式的妥当性を備えた説明を生成し、モデルの予測を変化させられるのは説明集合 A に含まれる特徴に限ることを保証する。
• 特徴レベルの感度ランク付けを用いることで、説明のサイズが縮小され、特に画像のような高次元入力においてスケーラビリティが向上する。
• MNIST では、完全検証を用いた VeriX は、平均で 330.8（感度）および 467.4（ランダム）の説明サイズを生成し、平均生成時間はそれぞれ 106.11 秒および 100.19 秒であった。
• GTSRB では、同じ ε=0.5% の摂動条件下で、VeriX は平均で 385.2（感度）および 400.2（ランダム）の説明サイズを生成し、平均生成時間はそれぞれ 858.39 秒および 816.38 秒であった。
• 不完全な検証（例：DeepPoly）を用いることで、説明は大きくなるが生成時間が短縮され、特に MNIST（ε=5%）では GTSRB（ε=0.5%）よりも顕著なトレードオフが見られた。
• フレームワークは、医療診断モデルにおける肌の色など、バイアスを露呈する特徴を効果的に特定でき、高リスクな AI 応用分野における公平性評価の可能性を示している。