[論文レビュー] Thermodynamics-inspired Explanations of Artificial Intelligence

Mehdi Shams, Pratyush Tiwary|arXiv (Cornell University)|Jun 27, 2022

Machine Learning in Materials Science被引用数 8

ひとこと要約

本稿では、ブラックボックスAIモデルの事後解釈性を高めるための熱力学的インスピレーションを受けるフレームワーク、TERPを提案する。解釈性を、モデルの単純さと不忠実さのトレードオフとしてモデル化し、熱力学的自由エネルギーに類似した「解釈自由エネルギー」ζを用いることで、前向き特徴選択を用いて局所的代理モデルを最適選択する。この手法は、分子、画像、テキスト分野におけるCNN、RNN、オートエンコーダを含む多様なAIモデルにおいて、強固な解釈性を示す。

ABSTRACT

In recent years, predictive machine learning methods have gained prominence in various scientific domains. However, due to their black-box nature, it is essential to establish trust in these models before accepting them as accurate. One promising strategy for assigning trust involves employing explanation techniques that elucidate the rationale behind a black-box model's predictions in a manner that humans can understand. However, assessing the degree of human interpretability of the rationale generated by such methods is a nontrivial challenge. In this work, we introduce interpretation entropy as a universal solution for assessing the degree of human interpretability associated with any linear model. Using this concept and drawing inspiration from classical thermodynamics, we present Thermodynamics-inspired Explainable Representations of AI and other black-box Paradigms (TERP), a method for generating accurate, and human-interpretable explanations for black-box predictions in a model-agnostic manner. To demonstrate the wide-ranging applicability of TERP, we successfully employ it to explain various black-box model architectures, including deep learning Autoencoders, Recurrent Neural Networks, and Convolutional Neural Networks, across diverse domains such as molecular simulations, text, and image classification.

研究の動機と目的

• ブラックボックスAIモデルにおける信頼の欠如を解消するため、厳密で解釈可能な事後解釈フレームワークを構築すること。
• モデルの解釈性を、熱力学的自由エネルギー最小化の物理的類似に形式化すること。
• モデルに依存しない、局所的に有効な複雑なAIモデル（例えば、深層ニューラルネットワークやオートエンコーダ）の解釈を可能にすること。
• 単純さと予測忠実度のバランスを取る最適な代理モデルの選択を、安定的かつ数学的に根拠のある方法で提供すること。
• フレームワークが、分子シミュレーション、画像分類、テキスト処理を含む多様な分野で検証されること。

提案手法

• 解釈性を、U（不忠実さ）とS（単純さ）の関数として定式化し、ζ = U − θS で表される「解釈自由エネルギー」ζの最小化として定式化する。ここでθは調整可能な温度に類似したパラメータである。
• 単純さSを対数的に定義することで、不忠実さの低減とバランスを保ち、モデル選択における安定したトレードオフを実現する。
• 個々の予測周辺の局所的線形代理モデルを段階的に構築する前向き特徴選択アルゴリズムを採用する。
• ζの最小化によって最適な代理モデルを選択し、凸性と単調性の性質のおかげで、一意のグローバル最小値が保証される。
• 最終的な代理モデルにおける非ゼロの重みを用いて特徴の重要度を付与し、局所的かつインスタンス固有の解釈を提供する。
• θを調整することで、熱力学的相に類似した安定した解釈の範囲を探索し、妥当な解釈の族を同定する。

実験結果

リサーチクエスチョン

• RQ1 解釈性の単純さとブラックボックスモデルへの忠実度のトレードオフを、熱力学的類似によって効果的に形式化できるか？
• RQ2 この熱力学的フレームワーク下で、忠実度と単純さの両方を満たすグローバルに最適な局所的代理モデルをどのように選択できるか？
• RQ3 このフレームワークは、CNN、RNN、オートエンコーダなどの多様なブラックボックスモデルアーキテクチャに普遍的に適用可能か？
• RQ4 この手法は、画像、テキスト、およびテーブルデータを含むさまざまなデータモダリティにおいて、安定的かつ信頼性のある特徴の寄与度を生成できるか？
• RQ5 モデルが複雑であったり、特定の入力で失敗した場合でも、このフレームワークは正しい推論を検出・解釈できるか？

主な発見

• TERPは、解釈自由エネルギーζの最小化により、各予測に対して一意の最適な代理モデルを特定し、数学的堅牢性を保証する。
• θ = 20のとき、TERPはニュース記事「AI predicts protein structures」に対してk_c = 16個の最も影響力のある特徴を同定し、その中で「Science」が最も高い寄与度を示した。
• この手法により、AttBLSTMモデルが、偶然的要因ではなく意味的に関連するキーワードに基づいて正しい予測を下したことが確認され、モデルの信頼性が向上した。
• TERPは、画像分類用のCNN、テキスト処理用のRNN、分子シミュレーション用のオートエンコーダを含む、複数のモデルタイプにおいて信頼性の高い解釈を示した。
• フレームワークにより、モデルの成功は孤立した語句に依存するのではなく、複数のキーワードの集団的影響によるものであることが明らかになった。
• ブラックボックスモデルが失敗した場合でも、TERPは依然として意味のある解釈を提供し、モデルの推論上の欠陥を特定し、診断的分析を支援した。