[論文レビュー] Explanations for Monotonic Classifiers

João Marques‐Silva, Thomas Gerspacher+3 more|arXiv (Cornell University)|Jun 1, 2021

Machine Learning and Data ClassificationComputer Science被引用数 20

ひとこと要約

本稿では、単調な分類器に対して形式的PI解釈および対照的解釈を計算する多項式時間、モデルに依存しないアルゴリズムを提案する。単調性を活用することで正しさと効率性を保証する。この手法は、Anchorのようなヒューリスティック手法と比較して顕著な高速化を達成し、SATベースの列挙によるすべての解釈を列挙してもほとんどオーバーヘッドがない。

ABSTRACT

In many classification tasks there is a requirement of monotonicity. Concretely, if all else remains constant, increasing (resp. decreasing) the value of one or more features must not decrease (resp. increase) the value of the prediction. Despite comprehensive efforts on learning monotonic classifiers, dedicated approaches for explaining monotonic classifiers are scarce and classifier-specific. This paper describes novel algorithms for the computation of one formal explanation of a (black-box) monotonic classifier. These novel algorithms are polynomial in the run time complexity of the classifier and the number of features. Furthermore, the paper presents a practically efficient model-agnostic algorithm for enumerating formal explanations.

研究の動機と目的

• 高リスクな応用分野で広く使われているにもかかわらず、単調な分類器のための専用の形式的解釈手法が不足しているという問題に取り組む。
• 内部モデル構造へのアクセスを必要としない、モデルに依存しないアルゴリズムを開発し、正確で形式的な解釈（PI解釈および対照的解釈）を計算する。
• 単調性を活用することで計算効率を確保し、分類器の推論時間と特徴量の数に対して多項式時間の複雑さを達成する。
• SATベースのアプローチを用いて、すべての形式的解釈をスケーラブルに列挙可能にする。実用上、最小限のパフォーマンスオーバーヘッドを伴う。
• 理論的および実験的根拠をもとに、解釈の質と正しさを保証する。Anchorのようなヒューリスティック手法が誤った解釈を生じる可能性があるという欠点を回避する。

提案手法

• 分類器の推論時間と特徴量の数に対して多項式時間で、1つのPI解釈（予測を保証する最小の特徴量サブセット）を計算する新規なアルゴリズムを提案する。
• 単調性を活用して、最小の十分な特徴量サブセットの探索を効率化する。これにより、特徴量の値を増加させても予測値が低下しないことを保証する。
• 予測値を変化させるために必要な最小の特徴量サブセット（つまり、その欠如が予測を変える）を特定する対照的解釈アルゴリズムを設計し、再び多項式時間で実行する。
• SATベースの定式化を用いて、すべての可能なPI解釈および対照的解釈を体系的に列挙し、解析用に完全な解釈集合を生成する。
• 単調性に基づくプリーニング技術をSATソルバーに統合し、探索空間を削減し、列挙中の効率性を向上させる。
• 分類器へのブラックボックスアクセスのみを要件とすることで、モデルに依存しない性質を確保し、内部構造の知識がなくても任意の単調モデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 単調な分類器に対して、モデル固有の論理や知識コンパイルを必要とせずに、形式的かつ部分集合最小の解釈（PI解釈）を効率的に計算できるか？
• RQ2 単調性を活用することで、正しさと完全性を保ちつつ、多項式時間で解釈を計算可能になるか？
• RQ3 Anchorのようなヒューリスティック解釈手法と比較して、提案手法の速度、解釈のサイズ、正しさの保証においてどのような差が生じるか？
• RQ4 実世界の単調なモデルにおいて、SATベースのアプローチを用いたすべての形式的解釈の列挙は、実用的にスケーラブルか？
• RQ5 解釈の列挙にSATソルバーを用いることで、計算オーバーヘッドがどの程度生じるか。また、数100の特徴量を持つモデルに対しても実用的か？

主な発見

• 提案されたアルゴリズムは、分類器の推論時間と特徴量の数に対して多項式時間で1つの形式的解釈を計算可能であり、効率的な解釈生成を可能にする。
• Auto-MPGおよびPimaMonoデータセットでは、合計実行時間が分類器の推論時間（それぞれ99.99%および99.54%）に支配的であり、解釈計算のオーバーヘッドがほとんどないことが示された。
• BankruptcyRiskおよびPimaMonoデータセットにおいて、MonoXPはAnchorよりも10倍以上高速であり、分類器へのクエリ回数が少ないことが要因である。
• 平均して、MonoXPはAnchorと同等またはより小さい解釈サイズを生成した。BankruptcyRiskでは、Anchorの64.1%の解釈が誤り（すべての特徴量空間の点で有効でない）であった。
• SATベースの列挙アルゴリズムは、両方のデータセットに対してAXpおよびCXp解釈をすべて正しく計算し、ほとんどオーバーヘッドなしに実行可能であることを示した。実用的なスケーラビリティが確認された。
• 形式的定義の解釈がヒューリスティック解釈よりも大きい必要はなく、単調性が解釈生成における正しさと効率性を両立可能であることを実証した。