[論文レビュー] Controllable Semantic Image Inpainting

Jin Xu, Yee Whye Teh|arXiv (Cornell University)|Jun 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 5

ひとこと要約

本稿では、ユーザーが指定する高レベルの意味的要因に基づいて、意味的に整合的で局所的に一貫性のある画像補完を生成する制御可能で意味的な画像補完手法を提案する。本手法は、解釈可能な潜在空間制御を可能にする分離型変分オートエンコーダと、詳細で文脈に配慮した生成を実現する双方向ピクセルCNNを組み合わせ、後処理や敵対的訓練を必要とせずに、ユーザー制御可能で高品質な補完を達成する。

ABSTRACT

We develop a method for user-controllable semantic image inpainting: Given an arbitrary set of observed pixels, the unobserved pixels can be imputed in a user-controllable range of possibilities, each of which is semantically coherent and locally consistent with the observed pixels. We achieve this using a deep generative model bringing together: an encoder which can encode an arbitrary set of observed pixels, latent variables which are trained to represent disentangled factors of variations, and a bidirectional PixelCNN model. We experimentally demonstrate that our method can generate plausible inpainting results matching the user-specified semantics, but is still coherent with observed pixels. We justify our choices of architecture and training regime through more experiments.

研究の動機と目的

• 既存の意味的補完手法におけるユーザー制御の欠如に起因する、決定的出力やインタラクティブ制御の欠如という問題に対処すること。
• 画像補完において、オブジェクトの種類、色、ポーズなどの高レベルの意味的要因（例：物体の種別、色、ポーズ）をユーザーが操作可能にしつつ、局所的なテクスチャーや構造的一致性を維持すること。
• ポissonブレンドや敵対的訓練といった後処理技術の必要性を排除し、生成結果に内在的な一貫性を保証すること。
• 分離型で解釈可能な潜在表現と、高精細な生成を可能にする強力な自己回帰的デコーダーを両立する訓練戦略を設計すること。

提案手法

• 観測済みの画像パッチを、各次元が解釈可能な意味的要因に対応する分離型潜在空間に変換するための分離型ピクセルVAEを用いる。
• 前向きおよび逆向きのラスタスキャン順序の両方でピクセルの依存関係をモデル化する双方向ピクセルCNNを採用し、周囲の観測済みピクセルから局所的な詳細やテクスチャーを的確に捉える。
• 2段階の訓練手順を導入：まず完全な画像上で分離型VAEを事前学習し、その後、マスク処理済み画像上でVAEと双方向ピクセルCNNを共同で微調整する。
• 潜在空間における分離性を促進しつつ、表現力のある生成能力を維持するために、InfoVAE-MMD目的関数を適用する。
• 推論時に潜在変数を操作することでユーザー制御を可能にし、多様で意味的に整合性のある補完結果を生成可能にする。
• 構造的事前分布を前提とした変分推論フレームワークを採用し、コンテキストと潜在コードの両方を活用する事後分布近似を用いることで、再構成誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、ユーザー指定の意味的要因に基づいて、意味的に整合的で局所的に一貫性のある画像補完結果を生成可能か？
• RQ2 強力な自己回帰的デコーダーと組み合わせた変分オートエンコーダー枠組みにおいて、分離型で解釈可能な潜在変数を効果的に学習できるか？
• RQ3 2段階の訓練が、画像補完における潜在空間の分離性と制御性に与える影響は何か？
• RQ4 敵対的損失や後処理を必要とせずに、双方向自己回帰的モデリングは局所的詳細の生成を向上させられるか？

主な発見

• 提案手法は、後処理や敵対的訓練を必要とせず、ユーザー指定の意味的要因に一致する多様で意味的に整合性のある補完結果を生成する。
• 2段階の訓練は、1段階の訓練と比較して、生成結果の多様性と制御性を顕著に向上させ、ノイズやマスク依存のアーチファクトを低減する。
• 潜在変数のトレースにより、色相、性別、顔の幅、方位角といった解釈可能な分離要因が明確に特定され、モデルが高レベルの意味的要因を正しく分離できていることが確認された。
• 欠損領域が大きい場合でも、制限されたコンテキスト条件下でも、顔の幅や方位角といったグローバルな意味的要因を効果的に保持しており、強力な意味的一般化能力を示している。
• 双方向ピクセルCNNは、外部のブレンド技術に依存せずに、局所的なテクスチャーや詳細を的確に捉えており、空間的一致性を確保している。
• 1段階の訓練では、潜在変数がターゲット領域のみを表現するよう学習され、マスク依存的かつ一般化能力に欠けるため、ノイズが多く不一致な結果が生じる。