[論文レビュー] ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

Chen-Hsuan Lin, Ersin Yumer+3 more|arXiv (Cornell University)|Mar 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 39

ひとこと要約

ST-GAN は、画像合成のための現実的な幾何的変形を学習するために空間変換ネットワーク（STN）を活用する、新しい生成対抗ネットワークアーキテクチャを提案する。GANフレームワーク内で逐次的・反復的なSTNジェネレータを訓練することで、敵対的最適化により前景オブジェクトを背景シーンに正確に整合させることで、ペアドおよびアンペアド設定の両方で最先端の結果を達成し、転送可能な変形パラメータを用いた高解像度画像編集を実現する。

ABSTRACT

We address the problem of finding realistic geometric corrections to a foreground object such that it appears natural when composited into a background image. To achieve this, we propose a novel Generative Adversarial Network (GAN) architecture that utilizes Spatial Transformer Networks (STNs) as the generator, which we call Spatial Transformer GANs (ST-GANs). ST-GANs seek image realism by operating in the geometric warp parameter space. In particular, we exploit an iterative STN warping scheme and propose a sequential training strategy that achieves better results compared to naive training of a single generator. One of the key advantages of ST-GAN is its applicability to high-resolution images indirectly since the predicted warp parameters are transferable between reference frames. We demonstrate our approach in two applications: (1) visualizing how indoor furniture (e.g. from product images) might be perceived in a room, (2) hallucinating how accessories like glasses would look when matched with real portraits.

研究の動機と目的

• 視点や配置の違いにより、前景オブジェクトが背景シーンに自然に一致しない画像合成における幾何的不一致を解消すること。
• 自然画像多様体と幾何的変換多様体の交差に一致するように、変形された画像を補正する幾何的補正を学習することで、画像合成の現実性を向上させること。
• 低解像度入力から得た学習済み変形パラメータを高解像度出力に転送することで、再訓練なしに高解像度画像編集を可能にすること。
• ペアドデータが存在しない状況、例えば同じ人物の眼鏡あり・なしのペアデータが存在しない状況でも、眼鏡をポートレートに合成できる有効性を示すこと。
• 単一ステップの変形よりも収束性と現実性が向上するように、逐次的・反復的なSTNトレーニング戦略を構築すること。

提案手法

• 生成器として空間変換ネットワーク（STN）をGANフレームワークに統合し、前景オブジェクトの微分可能な幾何的変形を可能にする。
• 複数段階の逐次的トレーニング戦略を採用し、複数のSTNモジュールが繰り返し微小な幾何的変換を適用することで、段階的に合成を精緻化する。
• 判別器を用いて、実画像とSTNで生成された合成画像を区別させ、生成器が徐々に現実的な結果を生成するように訓練する。
• トレーニング中に幾何的データオーグメンテーションを適用し、ランダムな類似変換やホモグラフィーを用いて耐性を向上させる。
• 予測された変形パラメータの転送性を活用：低解像度での推論により、再トレーニングなしに高解像度での合成が可能となる。
• 生成器を敵対的損失で最適化し、変形された合成画像が自然画像多様体と幾何的変換多様体の交差に一致するようにする。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、変形パラメータ空間で動作することで、画像合成のための現実的な幾何的補正を効果的に学習できるか？
• RQ2 単一ステップの生成器と比較して、逐次的・反復的なSTNトレーニング戦略は収束性と現実性を向上させるか？
• RQ3 低解像度入力から学習した変形パラメータを高解像度画像に転送することで、ST-GANは高解像度画像に一般化できるか？
• RQ4 ペアドデータが存在しない状況、例えば眼鏡あり・なしの同じ人物のペア画像が存在しない状況でも、ST-GANは顔に眼鏡を合成できるか？
• RQ5 ST-GANは極端な幾何的変形やレアなオブジェクトカテゴリ（例：太い縁や白い眼鏡）を処理する際にどのような限界を示すか？

主な発見

• 大規模なユーザー研究により、合成データおよび実世界データの両方において、ST-GANは画像合成の現実性を顕著に向上させた。
• 逐次的トレーニング戦略により、単純な1ステップ生成器のトレーニングに比べ、収束性とより現実的な変形が実現された。
• ST-GANは、前景オブジェクトが別のシーンからのものであっても、室内シーンに家具を自然な配置と視点整合で合成できた。
• ペアドデータが存在しない眼鏡合成タスクにおいても、ST-GANは顔にさまざまな種類の眼鏡を、顔のランドマーク情報なしに適切に整合させた。
• 低解像度で予測された変形パラメータを高解像度に適用することで、ST-GANは高解像度画像に一般化でき、実世界の編集応用に実用的である。
• ST-GANは極端な平行移動や平面内回転に対しては苦労し、特に太い縁や白い眼鏡などのレアオブジェクトカテゴリでは性能が低下した。