[論文レビュー] Improving LIME Robustness with Smarter Locality Sampling

Sean Saito, Eugene Chua+2 more|arXiv (Cornell University)|Jun 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 10被引用数 9

ひとこと要約

本稿では、LIMEの単純なガウス分布からのサンプリングに代わり、条件付きテーブルGAN（CTGAN）を用いてより現実的な合成データを生成する、耐性のあるLIMEの拡張版であるCTGAN-LIMEを提案する。CTGANを、生成されたサンプルを本物と識別させるように学習させることで、偏りや悪意ある行動の検出が向上し、有害なモデル行動の特定において最大99.94％のトップ1精度を達成する一方で、元のLIMEと同等の説明品質を維持する。

ABSTRACT

Explainability algorithms such as LIME have enabled machine learning systems to adopt transparency and fairness, which are important qualities in commercial use cases. However, recent work has shown that LIME's naive sampling strategy can be exploited by an adversary to conceal biased, harmful behavior. We propose to make LIME more robust by training a generative adversarial network to sample more realistic synthetic data which the explainer uses to generate explanations. Our experiments demonstrate that our proposed method demonstrates an increase in accuracy across three real-world datasets in detecting biased, adversarial behavior compared to vanilla LIME. This is achieved while maintaining comparable explanation quality, with up to 99.94\% in top-1 accuracy in some cases.

研究の動機と目的

• LIMEが単純なガウス分布からのサンプリングによって生じる分布外（OOD）の合成サンプルを悪用する攻撃に対して脆弱である問題に対処すること。
• ブラックボックスモデルにおける偏りや有害な行動を検出するLIMEベースの説明可能性の耐性を高めること。
• 説明品質を維持したまま、敵対的攻撃に対する耐性を高めること。
• 生成モデルが敵対的条件下でより忠実な局所的説明を生成できるかどうかを評価すること。

提案手法

• LIMEのデフォルトのサンプリング戦略（単位ガウス分布からの合成データの抽出）を、実際のテーブルデータをリアルisticallyに生成できる条件付きテーブルGAN（CTGAN）に置き換える。
• 実データとLIMEが生成した合成データを用いて訓練されたディスクライマー・ネットワークを用いて、CTGANを本物と識別させるように学習させ、生成されたサンプルが本物とみなされる確信度を最大化する。
• 訓練されたCTGANをLIMEのデータサンプラーとして使用し、合成サンプルが真のデータ多様体に沿った分布を持つように保証する。
• 低信頼度の合成サンプルを除外するためのディスクライマーに基づくフィルタリングステップを追加し、さらにサンプル品質を向上させる。
• 局所加重二乗損失を最適化することで説明を改善し、CTGANで生成されたサンプルを用いて局所的忠実性と耐性を高める。
• ランダムフォレストをブラックボックスモデルとして用い、COMPAS、ドイツクレジット、コミュニティと犯罪の3つの実世界データセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 LIMEの単純なサンプリングをGANベースの生成器に置き換えることで、OODの合成データを悪用する攻撃に対する耐性が向上するか？
• RQ2 CTGANで生成されたサンプルを用いることで、オリジナルLIMEと比較して説明品質が維持されたり向上するか？
• RQ3 CTGAN-LIMEは、ブラックボックスおよびホワイトボックス攻撃設定下でも、悪意あるモデルにおける偏りのある行動の検出にどの程度効果的か？
• RQ4 サンプルフィルタリングにディスクライマーを組み込むことで、説明システムの耐性がどの程度向上するか？

主な発見

• CTGAN-LIMEは、3つのデータセットすべてにおいてブラックボックスおよびホワイトボックス攻撃（Fooling-LIME）下で、オリジナルLIMEよりも高い精度を達成した。
• ホワイトボックス攻撃設定下では、攻撃者がCTGANモデルにアクセス可能であっても、CTGAN-LIMEはオリジナルLIMEを上回り、ベースラインと比較して精度の低下が僅かに抑えられた。
• CTGAN-LIMEの適合度はLIMEと同等であり、COMPASでは73.27％、ドイツクレジットでは77.89％、コミュニティと犯罪では80.64％を記録した。これは説明品質の劣化がないことを示している。
• 特定の実験設定では、CTGAN-LIMEは敵対的行動の検出において最大99.94％のトップ1精度を達成し、優れた耐性を示した。
• 定性的なPCA解析から、CTGANで生成されたサンプルは、ガウス分布からのサンプルと比較して、実データの多様体とよりよく重なっていた。一方、オリジナルLIMEのガウスサンプルはクラスタ化されており、OOD領域に分布していた。
• ディスクライマーに基づくフィルタリングステップは、CTGAN-LIMEの精度をさらに向上させ、そのサンプルの現実性と耐性を高める役割を果たしていることが確認された。