[論文レビュー] In-Distribution Interpretability for Challenging Modalities

Cosmas Heiß, Ron Levie+3 more|arXiv (Cornell University)|Jul 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 5

ひとこと要約

この論文は、音楽や都市物理シミュレーションなどの挑戦的なモダリティにおいて、深層学習モデルの忠実で意味のある説明を生成するためのドメインに依存しない、GANベースの分布内解釈手法を提案する。現実のデータ分布制約下でモデルの予測を保持することで、建物や信号測定値などの予測に寄与する重要な入力コンポONENTを同定し、従来のオクルージョン法に比べて優れた解釈性を示す。

ABSTRACT

It is widely recognized that the predictions of deep neural networks are difficult to parse relative to simpler approaches. However, the development of methods to investigate the mode of operation of such models has advanced rapidly in the past few years. Recent work introduced an intuitive framework which utilizes generative models to improve on the meaningfulness of such explanations. In this work, we display the flexibility of this method to interpret diverse and challenging modalities: music and physical simulations of urban environments.

研究の動機と目的

• 音楽や都市シミュレーションなどの複雑なモダリティにおいて、忠実で分布に配慮した説明が不足している問題に対処すること。
• 分布外の入力による不自然な説明を避けるために、摂動がデータ多様体内に留まるように保証することで、深層ニューラルネットワークの解釈性を向上させること。
• 生成モデルを用いて現実的なインpaintingを実現することで、非画像モダリティに対してもレート歪み説明（RDE）フレームワークを拡張すること。
• 建物や測定値などの入力コンポONENTが予測にどの程度寄与しているかを特定することで、物理シミュレーション（例：電波信号マッピング）におけるモデル挙動を評価すること。
• 分布内摂動が標準的なオクルージョン法やランダムノイズ法に比べ、より信頼性が高く意味のある説明をもたらすことを示すこと。

提案手法

• 二値マスク $ s \in \{0,1\}^d $ の微分可能で連続的な緩和化を、コンクリート分布を用いて行い、スパarsityと関連性の最適化を図る。
• マスク $ s $ に $ \ell_1 $-正則化を適用することで、0または1へのスパースな飽和を促進し、解釈可能なコンポONENTを強化する。
• 訓練済みのGANベースのインpaintingネットワーク $ G $ を用いて、現実的な遮断入力 $ z = x \odot s + G(x,s,n) \odot (1-s) $ を生成し、$ z $ が分布内に留まるように保証する。
• 温度制御サンプリングを用いたSGDで、損失関数 $ L'(s) = \frac{1}{2}\mathbb{E}_{z\sim\Upsilon_s}[(\Phi_d(x) - \Phi_d(z))^2] + \lambda \|s\|_1 $ を最適化する。
• マッチング pursuit を用いて、逐次的にモデル予測を保持する最小の入力コンポONENT集合（例：建物、信号測定値）を同定する。
• 音楽生成と都市環境における電波信号マッピングの2つの挑戦的なモダリティに、ブラックボックスおよびモデルベースのインpaintingを用いて本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 音楽や物理シミュレーションなどの非画像モダリティにおける深層学習モデルの忠実で分布内に配慮した説明をどのように生成できるか？
• RQ2 ランダムまたは背景色によるオクルージョンと比較して、GANベースのインpaintingネットワークを用いることで、モデルの説明の意味的妥当性はどの程度向上するか？
• RQ3 電波信号予測モデルの意思決定プロセスにおいて、建物と信号測定値のどちらの入力コンポONENTがより影響力があるか？
• RQ4 本手法は、モデル挙動においてグローバルな構造的パターン（例：建物の配置）とローカルな信号測定値を区別できるか？
• RQ5 インpainting戦略の選択（例：モデルベース vs. ランダム）が、複雑なシミュレーションにおける予測の解釈性にどのように影響するか？

主な発見

• 信号測定値が欠落した建物の影の部分に、電波マップのダークスポットを予測する上で極めて重要であることが同定された。これは、モデルが建物の存在を推論していることを示している。
• 明るいスポットを説明する際には、送信機の視線内にある測定値に依存しており、説明はモデルが過剰に大きな遮断物を予測しないようにしていることを明らかにした。
• モデルベースのインpaintingに $ \Phi_{\text{gt}} $ を用いることで、特にコントラストの高い領域において、ランダムまたは単純なインpaintingよりも現実的で信頼性の高い説明が得られた。
• GANベースのインpaintingの使用により、遮断された入力がデータ多様体内に留まることが保証され、分布外摂動による不自然な説明のリスクが低減された。
• 本手法は、グローバルな構造的コンポONENT（例：建物の配置）がローカルな信号点よりもより影響力が大きいことを同定した。これは、UNetアーキテクチャのグローバル特徴抽出機能と整合的である。
• 電波マップタスクにおいて、最適化されたマスクは、クエリの文脈に応じて影の部分と視線内測定値の両方が決定的であることを正しく強調した。