[論文レビュー] Understanding the (un)interpretability of natural image distributions using generative models

Ryen Krusinga, Sohil Shah+3 more|arXiv (Cornell University)|Jan 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 10

ひとこと要約

この論文は、自然画像分布における生成モデルが学習した確率密度関数の解釈可能性を調査する。本稿では、ピクセル空間ではなく、距離が意味的類似性と相関するGANの潜在空間で密度を推定することを提案する。これにより、直感的なインライヤーとアウトライヤーが得られ、潜在空間における密度はピクセル空間における密度よりもはるかに解釈可能であることを示している。

ABSTRACT

Probability density estimation is a classical and well studied problem, but standard density estimation methods have historically lacked the power to model complex and high-dimensional image distributions. More recent generative models leverage the power of neural networks to implicitly learn and represent probability models over complex images. We describe methods to extract explicit probability density estimates from GANs, and explore the properties of these image density functions. We perform sanity check experiments to provide evidence that these probabilities are reasonable. However, we also show that density functions of natural images are difficult to interpret and thus limited in use. We study reasons for this lack of interpretability, and show that we can get interpretability back by doing density estimation on latent representations of images.

研究の動機と目的

• 強力なGANによって学習された自然画像分布の確率密度推定値が、なぜピクセル空間では解釈が難しいのかを調査すること。
• GANの潜在空間における密度推定が、密度と意味的類似性を一致させることで解釈可能性を回復できるかどうかを検討すること。
• 潜在空間における高確率および低確率の画像が、直感的な典型性および異常の概念に対応しているかどうかを評価すること。
• ピクセル空間と潜在空間における密度推定器の動作を、意味的構造および分布モードの捉え方の観点から比較すること。

提案手法

• 生成画像の潜在コード z を活用し、z から画像空間への非一対一写像のヤコビアン行列式を用いて、非一対一写像の補正を行うことで、GANから明示的な確率密度推定値を抽出する手法を提案する。
• 任意の画像の潜在コード z に基づいてその確率を予測する回帰器を学習させることで、潜在空間上の密度関数を学習する。
• 非一対一写像における標準的な変数変換の公式を用い、z におけるガウス事前分布と生成器のヤコビアンを用いて密度を近似する。
• 本質的チェックとして、実画像と生成画像の確率を比較し、上位および下位確率のサンプルの視覚的品質を分析する。
• ヒストограмの広がりやインライヤー／アウトライヤーの視覚的検査を用いて、ピクセル空間と潜在空間における密度推定を比較する。
• 事前学習済みのGAN（例：CUBにおけるStackGAN、CIFAR/MNISTにおけるStyleGAN）を用い、潜在コードを抽出し、ドメインをまたいで密度の一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル空間における高確率画像が、しばしば背景が広く均一な単一の物体（例：1つの「1」の数字）である理由は何か？これは直感的な典型性の概念と矛盾する。
• RQ2 GANの潜在空間における密度推定が、意味的コンテンツと整合する直感的なインライヤーとアウトライヤーを生み出せるか？
• RQ3 GANがCIFAR-10で学習されたにもかかわらず、MNISTの数字（特に「1」）の確率が、多くのCIFAR-10画像よりも高いのはなぜか？
• RQ4 ピクセル空間における密度の解釈不能性は、ユークリッド距離と意味的類似性の不一致に起因しているのか？
• RQ5 潜在空間における密度推定が、意味的に異常な画像のようなより直感的な分布のアウトライヤーを回復できるか？

主な発見

• ピクセル空間における最高確率の画像は、通常、背景が広く均一な単一の物体（例：1つの「1」の数字）であり、典型的性の直感的期待と矛盾する。
• ピクセル空間における低確率の画像は、しばしば意味的異常を示す。例として、ヘッドが開いた車や、飛行機の画像に緑の空が描かれているような不自然な物体配置や奇妙な背景が見られる。
• CIFAR-10で学習されたにもかかわらず、GANはMNISTの数字をCIFAR-10画像の多くよりも高い確率で割り当てており、これはピクセル空間における密度が意味的分布構造を反映していないことを示している。
• これに対して、潜在空間における密度推定はより一様な確率分布を生み出し、CIFAR-10で学習した場合にCIFAR-10画像をインライヤー、MNIST画像をアウトライヤーとして正しく識別する。
• 潜在空間における最も確率の高い画像は、クラスごとに多様性を示し、意味的に整合性がある。高確率は、明確で目立つ前面物体と関連している。
• 潜在空間における最も確率の低い画像は意味的に異常であり、例として不自然なポーズの物体や整合性のない背景を持つ画像が含まれる。これは、モデルが意味的なアウトライヤー行動を適切に捉えていることを確認している。