[論文レビュー] From Robustness to Explainability and Back Again

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|Jun 5, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、頑健性ツールをオракルとして活用することで、深層ニューラルネットワークの形式的説明可能性をスケーリングする新しい手法を提案する。これにより、各特徴量ごとに最大1回の頑健性クエリに要する計算に削減される。本稿は、敵対的頑健性と形式的説明の間のタイトな双対性を確立し、数百のReLUユニットを持つネットワークに対して距離制限付き帰納的説明を効率的に計算可能にした。これは、従来の形式的手法に比べて顕著なスケーラビリティの向上を示している。

ABSTRACT

Formal explainability guarantees the rigor of computed explanations, and so it is paramount in domains where rigor is critical, including those deemed high-risk. Unfortunately, since its inception formal explainability has been hampered by poor scalability. At present, this limitation still holds true for some families of classifiers, the most significant being deep neural networks. This paper addresses the poor scalability of formal explainability and proposes novel efficient algorithms for computing formal explanations. The novel algorithm computes explanations by answering instead a number of robustness queries, and such that the number of such queries is at most linear on the number of features. Consequently, the proposed algorithm establishes a direct relationship between the practical complexity of formal explainability and that of robustness. To achieve the proposed goals, the paper generalizes the definition of formal explanations, thereby allowing the use of robustness tools that are based on different distance norms, and also by reasoning in terms of some target degree of robustness. Preliminary experiments validate the practical efficiency of the proposed approach.

研究の動機と目的

• 深層ニューラルネットワークやその他の複雑な分類器における形式的説明可能性の重要なスケーラビリティのボトル neck を解決すること。
• 敵対的頑健性と形式的帰納的／対照的説明の間の厳密で形式的な関係を確立すること。
• ノルムベースの距離制約（例：l_p ノルム）とターゲットとなる頑健性レベルを組み込むように形式的説明の定義を一般化すること。
• 既存の頑健性ツールをオーケストラとして再利用し、形式的説明の計算を可能にすることで、実用的なスケーラビリティを向上させること。
• 必要な頑健性クエリの数が特徴量の数に線形に依存することを示すこと。これは、計算のオーバーヘッドを顕著に削減する。

提案手法

• 形式的説明を距離しきい値 ε と l_p ノルムを含めるように一般化し、頑健性に配慮した説明定義を可能にする。
• 敵対的例オーケストラを用いて、形式的説明の計算問題を一連の頑健性クエリに再定式化する。
• 各特徴量ごとに1つの ε-AXp（ε-帰納的説明）を計算するアルゴリズムを設計し、特徴量の削除をテストすることで、n 個の特徴量に対して最大 n 回のクエリで実現する。
• 頑健性と説明の間の双対性を活用する：ネットワークが ε に対して頑健であれば、ε-AXp は存在しない。そうでなければ、ε-AXp は誤分類を引き起こす最小特徴量集合を特定する。
• SMTベースの既存の頑健性ツール（例：Marabou）をオーケストラとして活用し、敵対的クエリを効率的に回答する。
• Perl でプロトタイプを実装し、Marabou を頑健性オーケストラとして使用して ACASXU ネットワークで評価した。各クエリのタイムアウトは 4800 秒に設定した。

実験結果

リサーチクエスチョン

• RQ1 既存の頑健性ツールを再利用することで、深層ニューラルネットワークにおける形式的説明可能性をスケーラブルにできるか？
• RQ2 形式的説明定義を、距離制約（例：l_p ノルムや ε）を組み込むように一般化できるか？
• RQ3 形式的説明を計算する際、頑健性クエリの数と特徴量の数の関係は何か？
• RQ4 敵対的頑健性と形式的説明の双対性を活用することで、計算効率を向上させられるか？
• RQ5 ε の選択や特徴量の削除順序が、説明計算のパフォーマンスに与える影響はどの程度か？

主な発見

• 提案手法は、特徴量1つあたり最大1回の頑健性クエリで形式的説明を計算でき、特徴量の数に対して線形の計算量を達成した。
• 本手法により、数100個のReLUユニットを持つ深層ニューラルネットワークに対しても形式的説明が可能になった。これは、従来の形式的手法が数十ユニットに制限されていたのに対し、10倍以上のスケーラビリティ向上を示している。
• ACASXU ネットワークでは、4800秒のタイムアウト内に ε-AXp 認識が正常に計算されたが、パフォーマンスは ε の値や削除された特徴量の数に強く依存した。
• ε が大きいほど、または削除する特徴量の数が多いほど、探索空間が拡大し、実行時間が延びたが、数100ユニットのネットワークに対しても実用的であった。
• ε が小さすぎる場合（例：0.05）、ε-AXp は存在しなかった。これは、頑健性が説明の不在を示しており、より小さな ε 値では説明が得られにくいことを裏付けた。
• 本手法により、説明のサイズと説明の数が、頑健性しきい値 ε に直接関係していることが示された。ε の値が大きいほど、より多くの説明が得られた。