[論文レビュー] Functional Transparency for Structured Data: a Game-Theoretic Approach

Guang-He Lee, Wengong Jin+2 more|arXiv (Cornell University)|Feb 26, 2019

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿は、構造的データで訓練されたニューラルモデルにおける機能的透過性を達成するためのゲーム理論的フレームワークを提案する。柔軟な予測器と局所的で解釈可能な証人（例：決定木や線形関数）を共同で訓練することで、グローバルな表現力に損なわれることなく、局所的に一貫した振る舞いを確保する。このアプローチは、グラフ、系列、分子表現学習タスクにおいてモデルの解釈可能性と安定性を向上させ、忠実度および予測性能の両面で実証的利点を示す。

ABSTRACT

We provide a new approach to training neural models to exhibit transparency in a well-defined, functional manner. Our approach naturally operates over structured data and tailors the predictor, functionally, towards a chosen family of (local) witnesses. The estimation problem is setup as a co-operative game between an unrestricted predictor such as a neural network, and a set of witnesses chosen from the desired transparent family. The goal of the witnesses is to highlight, locally, how well the predictor conforms to the chosen family of functions, while the predictor is trained to minimize the highlighted discrepancy. We emphasize that the predictor remains globally powerful as it is only encouraged to agree locally with locally adapted witnesses. We analyze the effect of the proposed approach, provide example formulations in the context of deep graph and sequence models, and empirically illustrate the idea in chemical property prediction, temporal modeling, and molecule representation learning.

研究の動機と目的

• 複雑なディープラーニングモデルにおける解釈可能性の欠如、特にグラフや系列のような構造的データに対して。
• グローバルなモデル容量を維持しつつ、局所的な機能的整合性（例：線形性や部分構造に基づく挙動）を保証する手法の開発。
• 事後的説明に依存するのではなく、訓練時における正則化戦略を通じて、透明で局所的に解釈可能な挙動をモデルが向かうように誘導する。
• 協力的ゲーム設定においてニューラル予測器と解釈可能な証人を共同最適化することで、安定的かつ一般化可能な局所的説明を可能にする。

提案手法

• ニューラル予測器と、事前に定義された家族（例：決定木、線形関数）からの解釈可能な証人集合との間の協力的ゲームとしてモデルの透過性を定式化する。
• 局所的近傍における予測器と証人の乖離をペナルティ化する損失関数を用い、機能的整合性を促進する。
• 微分可能でない局所的証人推定（例：決定木）を、近傍データ上で行い、透過性制約を定義する。
• 予測精度と透過性のバランスを取るためにゲーム係数 λ を導入し、訓練に向けた対称および非対称なゲームバージョンを採用する。
• 局所的証人適合を用いて解釈可能性を確保するため、深層グラフネットワーク、系列モデル、分子用変分オートエンコーダーにこのフレームワークを適用する。
• 局所的機能的整合性を測定するための逸脱損失（例：KLダイバージェンスまたはRMSE）を用い、テスト時に評価する。

実験結果

リサーチクエスチョン

• RQ1 グローバルに強力なまま、局所的に解釈可能な挙動（例：線形性や部分構造に基づく意思決定）を示すニューラルモデルを訓練可能か？
• RQ2 予測器と解釈可能な証人をゲーム理論的共訓練することで、モデルの安定性と局所的説明の忠実度にどのような影響を与えるか？
• RQ3 ゲーム係数 λ が予測精度と機能的透過性のトレードオフに与える影響は何か？
• RQ4 本手法は、事後的説明手法と比較して、局所的領域にわたる一貫性と一般化性において優れているか？
• RQ5 解釈可能性が未だ十分に探求されていない構造的データ（例：分子、時系列、グラフ）に、このフレームワークを効果的に適用可能か？

主な発見

• ZINCデータセットにおいて、GameモデルはELBO性能（-21.5）でDeepモデル（-21.6）を上回り、逸脱度（3.98 vs. 4.64）も顕著に低く、局所的機能的整合性の向上を示した。
• 時系列モデリングにおいて、λ の増加は透過性（低い逸脱度およびTV）を向上させるが、誤差は増加する傾向にあった。しかし、λ=0.1はλ=0よりも高い精度を示し、正則化の利点を裏付けた。
• Gameモデルは安定的で一般化可能な局所的意思決定木を生成した一方、正則化なしのモデルは不安定でサンプル依存の木を生成し、一般化性に欠けていた。
• 非対称ゲームバージョンは、対称バージョン（14.6件/秒）よりも効率的（20.6件/秒）で、同等の性能を示した。これは実用的利点を示唆した。
• 分子表現タスクにおける証人は、主にサイドチェーン内の部分構造を選択しており、潜在空間の変動がスケルトンレベルの変更ではなく、局所的分子変化を反映していることを確認した。
• 可視化結果から、Gameモデルの線形重みは領域をまたがって安定していたのに対し、Deepモデルはより多くのバイアスに依存しており、解釈可能性の信頼性が低いことが示された。