[論文レビュー] Position Paper: Bridging the Gap Between Machine Learning and Sensitivity Analysis

Christian A. Scholbeck, Julia Moosbauer+4 more|arXiv (Cornell University)|Dec 20, 2023

Probabilistic and Robust Engineering Design被引用数 6

ひとこと要約

この論文は、解釈可能な機械学習（IML）が感受性分析（SA）の一種であると提唱し、形式的なSAフレームワークの下でML解釈手法を統合的に扱う。MLパイプラインをSAの対象とするシステムとみなすことにより、部分的依存やシャープレイ値といったモデルに依存しない手法を、既存のSA技術と結びつける。これにより、学際的知見が得られ、重複した研究開発が回避される。

ABSTRACT

We argue that interpretations of machine learning (ML) models or the model-building process can be seen as a form of sensitivity analysis (SA), a general methodology used to explain complex systems in many fields such as environmental modeling, engineering, or economics. We address both researchers and practitioners, calling attention to the benefits of a unified SA-based view of explanations in ML and the necessity to fully credit related work. We bridge the gap between both fields by formally describing how (a) the ML process is a system suitable for SA, (b) how existing ML interpretation methods relate to this perspective, and (c) how other SA techniques could be applied to ML.

研究の動機と目的

• 解釈可能な機械学習（IML）と感受性分析（SA）の間の正式な関係を確立し、IMLをSAの特殊応用として位置づける。
• 現代のIML研究において、基礎的なSA研究が十分に認識・引用されていないことによる、重複した手法開発を是正すること。
• 分散ベースの手法、FANOVA、ソボルインデックスといった、既存のSA技術がMLモデルやハイパーパrameter最適化の解釈に直接適用可能であることを示すこと。
• 木の分割やサリエンシーマップなどのモデル固有の説明を含めるために、SAフレームワークを拡張すること。
• 数十年にわたるSA研究の知見をIMLコミュニティの実践に統合することで、ML解釈分野における統一された用語法と手法論を提唱すること。

提案手法

• データ、モデル学習、ハイパーパrameter最適化、推論を含む、機械学習パイプライン全体を感受性分析に適したシステムとして形式化すること。
• 既存のモデルに依存しないIML手法（例：部分的依存、SHAP、LIME）を、それに対応するSA技術にマッピングし、概念的・数学的同等性を示すこと。
• 分散ベースのSA手法（例：ソボルインデックス、FANOVA分解）を用いて、MLモデルにおける特徴量の重要度と相互作用効果を定量化すること。
• モデル構造や勾配から導かれる感受性測度として解釈できるように、モデル固有の説明を解釈するためのフレームワークを拡張すること。
• サンプリング、干渉、予測、集約の4段階からなる一般化された解釈フレームワークを導入し、標準的なSAワークフローに類似させること。
• ハイパーパrameter最適化（HPO）が、ハイパーパrameterに対するモデル性能の感受性分析として解釈可能であることを強調すること。

実験結果

リサーチクエスチョン

• RQ1 機械学習プロセスを、感受性分析に適したシステムとして形式的にフレームワーク化できるか？
• RQ2 現在のモデルに依存しないML解釈手法が、既存の感受性分析技術とどの程度対応しているか？
• RQ3 古典的SA技術（例：ソボルインデックス、FANOVA）をMLモデルやハイパーパrameter最適化に適用することで得られる知見や手法的利点は何か？
• RQ4 なぜMLコミュニティは基礎的なSA研究をほとんど無視してきたのか？その結果、研究開発にどのような影響が生じたか？
• RQ5 感受性分析が、教師ありモデルに限らず、非教師あり学習やモデル固有の説明に対しても統合的フレームワークとして機能できるか？

主な発見

• データ、モデル学習、ハイパーパrameter最適化を含むMLプロセスは、感受性分析の対象として形式的に扱える。これにより、体系的な解釈が可能になる。
• 部分的依存やSHAPといった代表的なIML手法は、FANOVA分解や分散ベースの感受性インデックスといった、既存のSA技術と数学的に同等である。
• 1940年代に開発された高次元モデル表現（HDMR）といった歴史的SA手法が、現代のML解釈技術の基盤をなしているが、その起源はしばしば無視されている。
• 環境科学や工学分野で長年使われてきたソボルインデックスやグループ重要度測定法は、ML分野にも直接適用可能であり、モデルの頑健性と解釈可能性を向上させうる。
• モデル構造や勾配から導かれる感受性測度として解釈できるため、サリエンシーマップや木の分割といったモデル固有の説明も、フレームワークに統合可能である。
• SAをIMLに統合することで、ハイパーパラメータ最適化や非教師あり学習への高度なSA手法の応用といった、新たな研究分野が開かれる。L2PC や FACT といった手法による初期の実証的証拠も得られている。