[論文レビュー] On the Safety of Interpretable Machine Learning: A Maximum Deviation Approach

Dennis Wei, Rahul Nair+4 more|arXiv (Cornell University)|Nov 2, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、解釈可能な機械学習モデルの安全性を定量的に評価するための最大偏差アプローチを導入している。これは、認証集合上で評価中のモデル f と参照用の「安全」とされるモデル f₀ の出力差の最大値を測定することで、モデルの安全性を定量化するものである。解釈可能性のおかげで、決定木、一般化線形モデル、および木アンサンブルのようなモデルに対して、この偏差の正確なまたはタイトな境界が得られることを示している。特に、区分的リプシッツ関数に対しては、よりタイトなレグルレーション境界が得られ、モデルの安全性を定式化し、モデル選択を支援する根拠ある手法を提供する。

ABSTRACT

Interpretable and explainable machine learning has seen a recent surge of interest. We focus on safety as a key motivation behind the surge and make the relationship between interpretability and safety more quantitative. Toward assessing safety, we introduce the concept of maximum deviation via an optimization problem to find the largest deviation of a supervised learning model from a reference model regarded as safe. We then show how interpretability facilitates this safety assessment. For models including decision trees, generalized linear and additive models, the maximum deviation can be computed exactly and efficiently. For tree ensembles, which are not regarded as interpretable, discrete optimization techniques can still provide informative bounds. For a broader class of piecewise Lipschitz functions, we leverage the multi-armed bandit literature to show that interpretability produces tighter (regret) bounds on the maximum deviation. We present case studies, including one on mortgage approval, to illustrate our methods and the insights about models that may be obtained from deviation maximization.

研究の動機と目的

• 教師あり機械学習モデルの安全性を定量的に評価するフレームワークを提供すること。
• 安全性を、安全とされる参照モデルからの予測の最大偏差として形式化すること。
• 解釈可能性が、この最大偏差の計算をより効率的かつ正確に行えるようにする仕組みを調査すること。
• 異なるモデルクラス（解釈可能なモデルと非解釈可能なモデルを含む）における最大偏差アプローチの有効性を評価すること。
• 住宅ローン承認データを用いた事例研究を通じて、極端なモデル出力を引き起こす要因となる特徴量の組み合わせを明らかにすること。

提案手法

• 安全性評価を最適化問題として定式化：認証集合 C 上で、評価中のモデル f と参照安全モデル f₀ の間の偏差 D(f(x), f₀(x)) を最大化する。
• L2 や絶対差といった偏差測定 D を用いて、モデル間の出力差を定量化する。
• 決定木、一般化線形モデル、加法モデルなどの解釈可能なモデルに対しては、構造的性質を活用して最大偏差を正確に計算する。
• 木アンサンブルに対しては、離散最適化技術を適用して、最大偏差の任意時刻における上界と下界を導出する。
• 区分的リプシッツ関数へ一般化し、マルチアームドバンディットのレグルレーション境界を活用することで、一般のブラックボックス関数と比較して、解釈可能性のおかげで著しくタイトな境界が得られることを示す。
• 入力空間の妥当な入力がカバーされる認証集合 C を用意し、偏差を最大化する定義域を定義する。

実験結果

リサーチクエスチョン

• RQ1 参照モデルからの偏差という観点から、モデルの安全性を形式的かつ定量的に定義する方法は何か？
• RQ2 解釈可能性が、安全性評価における最大偏差の計算をどれほど効率的かつ正確に可能にするか？
• RQ3 最大偏差の境界は、モデルの複雑さや認証集合のサイズにどのように依存するか？
• RQ4 非解釈可能なモデル（例：木アンサンブル）に対しても、最大偏差の有用な境界を導出できるか？
• RQ5 どの特徴量の組み合わせが最大偏差を引き起こし、それらがモデルの挙動やドメインの妥当性検証にどのようなインサイトを提供するか？

主な発見

• 決定木、一般化線形モデル、および加法モデルでは、構造的解釈可能性のおかげで、最大偏差を正確かつ効率的に計算できる。
• 木アンサンブルでは、離散最適化技術により、最大偏差の有用な上界と下界が得られ、木の数が増えても境界が拡大しないことが示された。
• Lending Club の住宅ローン承認事例研究において、認証集合の半径 r が大きくなるにつれて最大偏差が増加しており、r が大きい場合には dti > 800% や annual_inc = $100 といった特徴量の値が現れ、極端で、安全でない可能性のある入力を示している。
• 最大偏差を引き起こす特徴量の組み合わせ（例：高い債務収入比、低い収入、長いローン期間、高い金利目的）は、モデルの脆弱性を明らかにし、ドメインの期待と整合的である。
• 木ベースのモデルでは、最大偏差がモデルの複雑さに敏感であり、ロジスティック回帰の ℓ₁ 正則化項の大きさや Explainable Boosting Machines のビン数の増加に伴い、偏差が大きくなる傾向がある。
• 後処理による説明が局所的な忠実性を示している場合でも、決定木アンサンブルのようなモデルのグローバルな挙動は、参照モデルから著しく逸脱している可能性があることが明らかになった。これは、グローバルな安全性評価の重要性を強調している。