[論文レビュー] Semi-parametric Image Synthesis

Xiaojuan Qi, Qifeng Chen+2 more|arXiv (Cornell University)|Apr 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 11

ひとこと要約

本稿では、セマンティックレイアウトからより現実的なフォトグラフィックな画像を生成するため、深層パrametricネットワークと非パラメトリックな画像セグメントメモリーバンクを組み合わせた半パラメトリック画像合成（SIMS）を提案する。レイアウトの整合性に基づいて実世界の画像セグメントを検索・組み合わせ、深層ネットワークを用いてアライメントと精錬を行うことで、完全にパラメトリックな手法に比べて著しく向上した現実性と知覚的品質を持つ画像を生成する。

ABSTRACT

We present a semi-parametric approach to photographic image synthesis from semantic layouts. The approach combines the complementary strengths of parametric and nonparametric techniques. The nonparametric component is a memory bank of image segments constructed from a training set of images. Given a novel semantic layout at test time, the memory bank is used to retrieve photographic references that are provided as source material to a deep network. The synthesis is performed by a deep network that draws on the provided photographic material. Experiments on multiple semantic segmentation datasets show that the presented approach yields considerably more realistic images than recent purely parametric techniques. The results are shown in the supplementary video at https://youtu.be/U4Q98lenGLQ

研究の動機と目的

• テスト時に実写データにアクセスできない純粋なパラメトリックな画像合成モデルの限界を是正すること。
• 現代の深層学習パイプラインに、実際の画像リファレンスを活用する非パラメトリック手法の強みを再統合すること。
• 外部の画像セグメントメモリを活用しながら、深層ネットワークの柔軟性と表現力を保ちつつ、現実的な画像生成を実現する半パラメトリックフレームワークを開発すること。
• 実世界の画像統計に合わせてアライメントすることで、合成画像の知覚的リアリズムと統計的一致性を向上させること。

提案手法

• 実写写真のトレーニングセットから、それぞれのセマンティックレイアウトに関連付けられた画像セグメントのメモリーバンクを構築する。
• テスト時に、新しいセマンティックレイアウトが与えられると、学習済みの類似度メトリックを用いてメモリーバンクから適合するセグメントを検索する。
• 変換ネットワークが、検索されたセグメントを空間的レイアウトにアライメントし、隠蔽やスケール・方向の調整を実行する。
• 順序付けネットワークが、空間的一致性と現実的なシーン構成を確保するためのセグメントの正しいレイヤー順序を決定する。
• 深層生成ネットワークが、合成されたキャンバスを処理し、最終的なフォトリアルな画像を生成し、テクスチャの精錬とエッジのブレンドを実行する。
• パイプライン全体はエンド・ツー・エンドで訓練され、推論時にはメモリーバンクが固定される。

実験結果

リサーチクエスチョン

• RQ1 実画像セグメントの非パラメトリックな検索とパラメトリックな深層ネットワークを組み合わせることで、セマンティックレイアウトからの画像合成のリアリズムが向上するか？
• RQ2 テスト時に実写の例示画像を用いることで、純粋なパラメトリックモデルに比べて知覚的品質がどのように向上するか？
• RQ3 合成画像の統計的特性（例：パワースペクトル）が、実画像とどの程度一致するか？
• RQ4 同じ入力レイアウトに対して異なる上位k個の検索セグメントをサンプリングすることで、多様で高品質な出力を生成できるか？

主な発見

• 人間の好み評価によって確認されたように、SIMSが生成する画像は、Pix2pix や CRN といった最先端のパラメトリック手法に比べ、顕著に高い知覚的リアリズムを達成している。
• ADE20Kデータセットにおいて、SIMSが生成する画像の平均パワー スペクトルは、実画像とほとんど区別がつかない一方、Pix2pix や CRN は不自然なスペクトルスパイクを示している。
• 時間制限付きの二項比較において、SIMSはCityscapes-coarse（50.2％）およびCityscapes-fine（50.5％）で実画像を上回る好みの割合を示しており、人間水準のリアリズムを達成していることが示唆される。
• 事前学習済みのPSPNetを用いた評価において、SIMSは実画像とほぼ同等の高いセマンティック一貫性を維持しており、IoUスコアが顕著に高い。
• ドメインシフトに対しても頑健であり、CityscapesからGTA5へのドメイン転送においても高品質な画像を生成している。
• 同じレイアウトに対して異なる上位k個の検索セグメントをサンプリングすることで、複数の現実的で多様なバリエーションを生成可能である。