[論文レビュー] "I know it when I see it". Visualization and Intuitive Interpretability

Fabian Offert|arXiv (Cornell University)|Nov 20, 2017

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 5

ひとこと要約

この論文は、次元削減と正則化に依存する可視化技術が、非概念（抽象的で分散型の意味的状態）を肯定的で自然主義的な画像表現に置き換えることで人間のバイアスを導入するため、機械学習における直感的解釈可能性は本質的に制限されていると主張している。主な貢献は、特に「ポルノグラフィーでない」といった非概念を表現する際、モデルの意味論が歪められることを暴露し、単一で誤解を招く可視化の代わりに、多様な画像表現を採用すべきであることを提唱することにある。

ABSTRACT

Most research on the interpretability of machine learning systems focuses on the development of a more rigorous notion of interpretability. I suggest that a better understanding of the deficiencies of the intuitive notion of interpretability is needed as well. I show that visualization enables but also impedes intuitive interpretability, as it presupposes two levels of technical pre-interpretation: dimensionality reduction and regularization. Furthermore, I argue that the use of positive concepts to emulate the distributed semantic structure of machine learning models introduces a significant human bias into the model. As a consequence, I suggest that, if intuitive interpretability is needed, singular representations of internal model states should be avoided.

研究の動機と目的

• 機械学習における直感的解釈可能性の哲学的・技術的限界を調査すること。
• 次元削減や正則化といった可視化技術が、モデルの内部状態を事前に解釈する方法を分析すること。
• 非概念（例：「ポルノグラフィーでない」）が肯定的視覚的概念として表現される際、人間の美的バイアスが導入されることを暴露すること。
• 内部モデル状態の単一可視化が本質的に誤解を招くものであり、複数の表現に置き換えるべきであると主張すること。
• 分散型意味的構造を孤立した解釈可能な画像として表現する際の結果を強調すること。

提案手法

• ニューロンの活性を最大化する画像を生成する可視化手法としてのアクティベーション最大化の分析。
• 高次元モデル状態を人間の知覚に適応させるために2次元または3次元に次元削減を適用すること。
• 抽象的活性から「自然な」前画像を生成するために、自然画像の事前分布を用いた正則化の適用。
• 生成対抗ネットワーク（GANs）を用いて、可視化出力の多様性と現実性を向上させること。
• 「オープンNSFW」モデルを事例として用い、否定的概念（例：「NSFWでない」）が肯定的で牧歌的な風景として可視化される様子を示すこと。
• ドゥルーズの「差異（différance）」の概念を援用し、分散型意味的構造を単一の表現に抵抗する非概念として位置づけること。

実験結果

リサーチクエスチョン

• RQ1 機械学習における可視化は、次元削減と正則化を通じて、どのようにモデル状態を暗黙的に事前解釈するか？
• RQ2 なぜ非概念（例：「ポルノグラフィーでない」）を機械学習モデルで直感的に表現することが問題となるのか？
• RQ3 非概念を肯定的視覚的概念として表現することで、どの程度人間の美的バイアスがモデルの解釈可能性に組み込まれるのか？
• RQ4 ワードエムベッディングのようなモデルにおける分散型意味的構造は、なぜ単一の概念的解釈に抵抗するのか？
• RQ5 ニューラルネットワークの複雑で非概念的内部状態を単一可視化で表現することは、どのような結果をもたらすのか？

主な発見

• 機械学習モデルの可視化には、次元削減と正則化という2段階の事前解釈が必要であり、これらは元の高次元的・非概念的状態を歪めることになる。
• アクティベーション最大化は、正則化がなければしばしばノイズや意味のないパターンを生成するため、解釈可能な出力を得るには自然画像の事前分布の使用が不可欠である。
• 得られる可視化はモデル内部の直接的な表現ではなく、人間の美的仮定（例：「ポルノグラフィーでない」を牧歌的風景として描写）によって形作られている。
• オープンNSFWの事例研究から、モデルの「SFW（業務で使用可能）」という概念が、否定によって定義されているにもかかわらず、暗黙的に肯定的な視覚的概念（牧歌的風景）として学習されていることが明らかになった。
• ワードエムベッディングのようなモデルにおける分散型意味的構造は、類似語のアナロジー解法が本質的に関係的で非概念的であるため、単一の明確な概念に還元できない。
• 内部状態の単一可視化は非概念の真の性質を捉えるのに不適切であり、多様で多面的な可視化が代替として不可欠である。