[論文レビュー] Learning Hierarchical Semantic Image Manipulation through Structured Representations

Seunghoon Hong, Xinchen Yan+2 more|arXiv (Cornell University)|Aug 22, 2018

Generative Adversarial Networks and Image Synthesis被引用数 59

ひとこと要約

本研究は、粗いバウンディングボックスから細粒度のセマンティックレイアウトを予測し、それを条件として最終画像を生成することで、文脈を意識したオブジェクトレベルの編集を実現する、階層的なフレームワークを提示します。

ABSTRACT

Understanding, reasoning, and manipulating semantic concepts of images have been a fundamental research problem for decades. Previous work mainly focused on direct manipulation on natural image manifold through color strokes, key-points, textures, and holes-to-fill. In this work, we present a novel hierarchical framework for semantic image manipulation. Key to our hierarchical framework is that we employ a structured semantic layout as our intermediate representation for manipulation. Initialized with coarse-level bounding boxes, our structure generator first creates pixel-wise semantic layout capturing the object shape, object-object interactions, and object-scene relations. Then our image generator fills in the pixel-level textures guided by the semantic layout. Such framework allows a user to manipulate images at object-level by adding, removing, and moving one bounding box at a time. Experimental evaluations demonstrate the advantages of the hierarchical manipulation framework over existing image generation and context hole-filing models, both qualitatively and quantitatively. Benefits of the hierarchical framework are further demonstrated in applications such as semantic object manipulation, interactive image editing, and data-driven image manipulation.

研究の動機と目的

• カラーのストロークやインペイントなどの低レベルの編集を超えたセマンティックレベルの画像操作を動機づける。
• オブジェクトのバウンディングボックスからセマンティックレイアウト、さらにピクセルレベルの画像へと至る粗→精細なワークフローを提案する。
• 適応型の文脈認識レンダリングで、追加・削除・移動といったオブジェクトレベルの対話的編集を可能にする。
• データセット全体での対話的編集とデータ駆動型の画像操作における利点を示す。

提案手法

• 粗いバウンディングボックスとコンテキストからピクセル単位のセマンティックレイアウトを予測する構造生成器と、予測されたレイアウトを条件としてテクスチャをレンダリングする画像生成器の2段階ジェネレータを導入する。
• 操作領域内でオブジェクトマスクとコンテキストラベルを別々に予測する2ストリーム構造デコーダを用い、前景と背景の分離を実現する。
• レイアウト生成を誘導するために条件付き敵対的損失と再構成損失を組み込み、オブジェクトマスクストリームとコンテストリームを用いる。
• 予測されたレイアウトを局所的な画像パッチと組み合わせ、レイアウトと画像特徴を中間のゲート付き相互作用を通じて融合する2ストリームエンコーダ–デコーダ画像生成器。
• バウンディングボックスに基づく操作を1つのオブジェクトずつ適用して、反復的な操作を可能にする。

実験結果

リサーチクエスチョン

• RQ1 粗いオブジェクトバウンディングボックスから始まる階層的生成によって、セマンティックな画像操作をどのように実現できるか？
• RQ2 2つのストリームで構造（レイアウト）と外観（画像）を分離することは、操作の品質と文脈的一貫性を向上させるか？
• RQ3 多様なシーンで、対話的編集（追加/削除/移動）とデータ駆動型の画像操作を効果的にサポートできるか？

主な発見

• 階層的フレームワークは、周囲の文脈とオブジェクトレベルの意味論に沿った妥当な編集画像を生み出す。
• 2ストリーム設計（レイアウトエンコーダと画像エンコーダを分離）は、感覚品質と文脈的一貫性の点で単一ストリームの変種を上回る。
• 予測されたレイアウトを使用しても、画像のみやレイアウトのみのベースラインより依然として顕著な利点があり、レイアウト推定エラーに対する頑健性を示す。
• この手法は、オブジェクトボックスをサンプリングしてシーン間で転送することで、対話的なオブジェクトレベルの編集とデータ駆動型の操作をサポートします。
• CityscapeとADE20Kのベッドルーム画像で、コンテキストホールフィリングおよび構造条件付き生成のベースラインに対して、定性的・定量的評価が利点を示す。