[論文レビュー] Foundations of Symbolic Languages for Model Interpretability

Marcelo Arenas, Daniel Báez+3 more|arXiv (Cornell University)|Oct 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用数 5

ひとこと要約

この論文は、決定木や意思決定図など、解釈可能な機械学習モデルに対して解釈可能なクエリを指定するための、一階論理に基づく宣言的言語FOILを紹介する。FOILクエリの評価の計算複雑性を確立し、構造的制限や断片的制限によって効率的な評価が達成可能であることを示し、プロトタイプ実装により実用的妥当性を示している。

ABSTRACT

Several queries and scores have recently been proposed to explain individual predictions over ML models. Given the need for flexible, reliable, and easy-to-apply interpretability methods for ML models, we foresee the need for developing declarative languages to naturally specify different explainability queries. We do this in a principled way by rooting such a language in a logic, called FOIL, that allows for expressing many simple but important explainability queries, and might serve as a core for more expressive interpretability languages. We study the computational complexity of FOIL queries over two classes of ML models often deemed to be easily interpretable: decision trees and OBDDs. Since the number of possible inputs for an ML model is exponential in its dimension, the tractability of the FOIL evaluation problem is delicate but can be achieved by either restricting the structure of the models or the fragment of FOIL being evaluated. We also present a prototype implementation of FOIL wrapped in a high-level declarative language and perform experiments showing that such a language can be used in practice.

研究の動機と目的

• 機械学習における解釈可能性クエリを体系的かつ宣言的に指定するための言語を開発すること。
• 形式論理（FOIL）に根ざすことで、説明の整合性と正確性を保証すること。
• 決定木や意思決定図のような解釈可能なモデル上でFOILクエリを評価する際の計算複雑性を分析すること。
• 高レベルの宣言的構文で実装されたFOILのプロトタイプを通じて、実用的導入を可能にすること。
• 入力空間が指数的であるにもかかわらず、FOILの評価が依然として tractable である条件を同定すること。

提案手法

• FOILは、2つの述語を持つ一階論理として定義される：Pos(e) は、完全なインスタンス e が正例として分類されることを示し、e ⊆ e' は、e' が e の未定義特徴を埋められることを示す。
• 言語は、∃x (Pos(x) ∧ (⊥,⊥,⊥,⊥,0,1,⊥) ⊆ x) のような存在的クエリをサポートし、部分的インスタンスが正例として分類可能かどうかを表現する。
• 実数値特徴は、特徴値の固定順序に基づいてブール符号化に変換され、FOILのブールインスタンス空間への翻訳を可能にする。
• 決定木は、モデルの意味を保持しつつ、効率的なクエリ評価を可能にする二値意思決定図（BDDs）にコンパイルされる。
• 主な技術的洞察として、決定木から導かれる非自由なBDDであっても、ガジェット部品間でパスの整合性が保たれていれば、効率的な評価が可能である。
• 評価アルゴリズムは、部分的インスタンスの決定化を活用して、正例への完成可能性をチェックし、FBDD評価技術から適応されたものである。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルにおける多様な解釈可能性クエリを体系的に表現できる、宣言的で論理ベースの言語を設計できるか？
• RQ2 決定木や意思決定図上でFOILクエリを評価する際の計算複雑性はいかほどか？
• RQ3 入力空間が指数的であるにもかかわらず、構造的または文法的制約が課された場合に、FOILの評価が依然として tractable である条件は何か？
• RQ4 FOILの形式的意味論は、追加の正当化を要せず、正確かつ信頼できる説明を保証できるか？
• RQ5 FOILをBDDのような標準データ構造にコンパイルできる範囲はどの程度か？ また、クエリの意味論と効率性を保持できるか？

主な発見

• FOILは、'この部分的入力と整合する正例が存在するか？' といった解釈可能なクエリを、洗練された論理的構文で指定可能である。
• ガジェット部品間でパスの意味論が一貫している限り、非自由なBDDにコンパイルされた決定木上でも、存在的FOILクエリの評価は tractable である。
• 断片に制限を設ける、または特徴の順序付けがなされた決定木のように構造が有界な場合、FOIL評価の複雑性は多項式時間で抑えられる。
• プロトタイプ実装により、FOILが実用的に使用可能であることが示され、ユーザーフレンドリーな構文でインタラクティブなクエリ作成とモデル探索が可能である。
• 実数値特徴をブール符号化にコンパイルすることで、しきい値クエリの意味論が保持され、FOIL論理への正確な翻訳が可能になる。
• このアプローチにより、論理の意味論がモデルの振る舞いを直接反映するため、近似や曖昧さを伴わず、形式的に整合性のある説明が保証される。