[論文レビュー] Understanding Instance-based Interpretability of Variational Auto-Encoders

Zhifeng Kong, Kamalika Chaudhuri|arXiv (Cornell University)|May 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 11

ひとこと要約

本稿では、尤度最大化に基づく反事後的問いをフレームワークとして用い、変分オートエンコーダー（VAEs）におけるインスタンスベースの解釈可能性を計算的に効率的かつ理論的に裏付けられた方法、VAE-TracInを提案する。『どの訓練サンプルがテストサンプルの尤度を最も高めるか？』という反事後的問いを提示することで、著者らは影響力のある訓練サンプルを同定し、自己影響力が高いサンプルは再構築が難しいか、高コントラストなサンプルであることを示した。さらに、データ多様体の外側にあるデータポイントを検出することで、ラベルなしのデータクリーニングを可能にする。

ABSTRACT

Instance-based interpretation methods have been widely studied for supervised learning methods as they help explain how black box neural networks predict. However, instance-based interpretations remain ill-understood in the context of unsupervised learning. In this paper, we investigate influence functions [Koh and Liang, 2017], a popular instance-based interpretation method, for a class of deep generative models called variational auto-encoders (VAE). We formally frame the counter-factual question answered by influence functions in this setting, and through theoretical analysis, examine what they reveal about the impact of training samples on classical unsupervised learning methods. We then introduce VAE- TracIn, a computationally efficient and theoretically sound solution based on Pruthi et al. [2020], for VAEs. Finally, we evaluate VAE-TracIn on several real world datasets with extensive quantitative and qualitative analysis.

研究の動機と目的

• ラベルなしの教師あり学習におけるインスタンスベースの解釈可能性を形式化し、尤度最大化に基づく反事後的問いを定式化することで、VAEsに特化した解釈可能性を確立すること。
• エンコーダーの確率的性質とヘッセ行列の逆行列計算の高コストさにより、VAEsにおける影響関数の計算が困難であるという課題に対処すること。
• ヘッセ行列の計算を回避し、モデルのチェックポイントを活用することで高速化を実現する、一階近似の効率的で実用的な影響関数の近似法であるVAE-TracInを開発すること。
• 実世界のデータセットを用いた実験的評価を通じて、VAE-TracInが影響力のある訓練サンプルを同定でき、ラベルなしのデータ品質評価を支援できることを示すこと。
• 自己影響力が高いサンプルが視覚的に顕著または高コントラストである傾向があることから、ラベルなしの設定においてデータ分布の外れ値や異常を検出する有効性を示すこと。

提案手法

• ラベルなしの環境下で、VAEsにおける反事後的問いを『どの訓練サンプルがテストサンプルの尤度を最も高めるか？』として形式化し、ラベルが存在しない状況下でも影響関数に基づく解釈を可能にする。
• 真の影響力を信頼性高く近似するため、影響関数の経験的平均を用い、やや弱い条件下で集中不等式を証明することで、近似の妥当性を保証する。
• 一階近似の影響関数推定法であるTracInをVAEsに適応させ、ヘッセ行列の逆行列計算を不要とし、モデルのチェックポイントを活用することで高速な計算を実現する。
• 高影響力の訓練サンプルを「支持者」と定義し、低影響力のサンプルを「反対者」と定義し、それらの視覚的特性および潜在空間内での特徴を分析する。
• MNISTおよびCIFAR-10でVAE-TracInを評価し、影響スコアと潜在空間内での距離およびノルムを比較。また、自己影響力が高いサンプルをフィルタリングすることで、ラベルなしのデータクリーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 ラベルに依存せずに、教師なし学習、特にVAEsにおけるインスタンスベースの解釈可能性を形式的にどのように定式化できるか？
• RQ2 VAEsにおける影響関数と尤度最大化の理論的関係は何か？また、潜在空間内でのペアワイズ距離とどのように関連するか？
• RQ3 確率的エンコーダーと高次元パrameter空間を有するVAEsにおいて、影響関数をどのように効率的に計算できるか？
• RQ4 訓練サンプルがテストサンプルに与える影響にどのようなパターンが現れるか？また、それらは視覚的特性や潜在空間内特性とどのように関連するか？
• RQ5 自己影響力が高い訓練サンプルは、教師なし設定においてデータ分布の外れ値や異常を示す指標として有効であると示せるか？

主な発見

• VAEsにおける高自己影響力を持つ訓練サンプルは、再構築損失が大きいことが特徴で、視覚的に複雑で、コントラストが高く、再構築が困難なサンプルであることが示された。
• 支持者（高影響力サンプル）は、通常、テストサンプルと視覚的に類似しており、背景や物体の色が一致し、明るさや彩度が強い傾向がある。
• CIFAR-10では、強い支持者が常に大きな潜在空間ノルムを示しており、これは高コントラストまたは明るい画像であることを示唆している。CIFAR-9では平均ノルムが5.48±0.62であった。
• 支持者と反対者（低影響力サンプル）は、特にβ値が高い場合、テストサンプルに近接して潜在空間に配置されており、強い意味的類似性があることが示された。
• 強い反対者（opponents）は、通常、テストサンプルと同じクラスに属するが、スタイル、太さ、形状の点で異なることが多く、影響力が微細な視覚的変化に敏感であることが示された。
• 本手法は、自己影響力が高いことにより、データ多様体の外側にあるデータポイントを効果的に同定でき、ラベルなしのデータクリーニングを実現した。