[論文レビュー] Probabilistic Semantic Inpainting with Pixel Constrained CNNs

Emilien Dupont, Suhas Suresha|arXiv (Cornell University)|Oct 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 10

ひとこと要約

本稿では、可視ピクセルに条件づけられた画像分布をモデル化するように変更されたPixelCNNに基づく確率的セマンティック補完手法、Pixel Constrained CNNsを提案する。この手法により、尤度推定を伴う多様で現実的な画像補完が可能となる。MNISTおよびCelebAにおける実験では、MNISTでは高いサンプル多様性と人間の認知との強い相関が確認されたが、CelebAにおける複雑な顔画像では尤度推定がやや信頼性に欠けることが判明した。

ABSTRACT

Semantic inpainting is the task of inferring missing pixels in an image given surrounding pixels and high level image semantics. Most semantic inpainting algorithms are deterministic: given an image with missing regions, a single inpainted image is generated. However, there are often several plausible inpaintings for a given missing region. In this paper, we propose a method to perform probabilistic semantic inpainting by building a model, based on PixelCNNs, that learns a distribution of images conditioned on a subset of visible pixels. Experiments on the MNIST and CelebA datasets show that our method produces diverse and realistic inpaintings.

研究の動機と目的

• 画像補完における固有の不確実性に対処するため、単一の決定的出力ではなく、複数の妥当な補完を生成すること。
• 可視ピクセルを条件とした画像の条件付き分布を学習するモデルを開発し、現実的な補完の分布からのサンプリングを可能にすること。
• 生成された補完の尤度を推定し、妥当性の順序付けによるサンプルのランク付けを可能にすること。
• 決定的GANベースや最適化ベースの手法と比較して、サンプルの多様性を向上させること。
• モデルが推定する尤度が、人間の画像妥当性認識と相関するかどうかを評価すること。

提案手法

• PixelCNNを拡張し、上部および左側のピクセルに限定せず、任意の可視ピクセル集合を条件として用いることで、不規則的または非長方形のマスクに対しても補完が可能となる。
• 自己回帰的モデリングを用いて、事前に生成されたピクセルと可視ピクセルの制約に基づき、各ピクセルの分布を予測する。
• 可視ピクセルを符号化し、自己回帰的生成プロセスに統合する条件付き入力機構を導入する。
• ピクセル単位の交差エントロピーと、可視ピクセルとの整合性を保つための正則化項を組み合わせた、変更された損失関数を採用する。
• 自己回帰的構造を活用し、生成画像の正確な尤度を計算することで、モデルの評価とサンプルのランク付けを可能にする。
• 多スケールアーキテクチャを採用し、局所的およびグローバルな画像構造を捉える能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不規則的または非長方形のマスクに対しても、可視ピクセルを条件として多様で現実的な画像補完を生成できるか、確率的モデルがその能力を示せるか。
• RQ2 モデルが推定する尤度は、人間の画像妥当性認識と相関するか。
• RQ3 多様性と現実性の観点から、最先端の決定的補完手法と比較して、本モデルの性能はどのように差がつくか。
• RQ4 なぜ、CelebAのような複雑なデータセットでは尤度推定が人間の認識と相関しなくなるのか。
• RQ5 自己回帰的生成プロセスを通じて、不確実性が適切に伝搬されるか、ピクセルの確率マップの変化からその様子が示せるか。

主な発見

• 本モデルは、MNISTおよびCelebAの両方で多様で現実的な補完を生成でき、視覚的および定量的分析により高いサンプル多様性が確認された。
• MNISTでは、ユーザーの49.7％がモデルの尤度順位付けに同意しており、人間の妥当性認識と強い相関があることを示している。
• CelebAでは、ユーザーの56.6％がモデルの尤度推定に反対しており、複雑な顔画像データに対してモデルの尤度推定がやや信頼性に欠けることが示唆された。
• モデルのピクセル確率マップは生成過程で変化し、より多くのピクセルがサンプリングされるにつれて確信が増し、妥当な補完に適切にバイアスされていることが確認された。
• 失敗事例では、特にマスクの境界付近で不自然な補完や不一致するピクセルが生成されることがあり、マスク構造やモデル収束の感度に起因する可能性が示された。
• 自己回帰的生成に起因し、生成画像のピクセル数と同等の順方向パスを必要とするため、尤度推定は計算コストが非常に高い。