[論文レビュー] Decorating Your Own Bedroom: Locally Controlling Image Generation with Generative Adversarial Networks

Chen Zhang, Yinghao Xu+1 more|arXiv (Cornell University)|May 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 6

ひとこと要約

この論文では、事前学習されたStyleGAN2モデルにおける局所的画像編集のためのLoGANを提案する。中間特徴マップをコンテンツおよびスタイルモジュレーション演算子を用いて操作し、プライオリティマスクを併用することで、再訓練を必要とせずに、物体の削除・挿入・回転・全室のリデコレーションといった正確で柔軟な編集を可能にする。ベッドルーム合成タスクにおいて、写真のようにリアルな結果を得られる。

ABSTRACT

Generative Adversarial Networks (GANs) have made great success in synthesizing high-quality images. However, how to steer the generation process of a well-trained GAN model and customize the output image is much less explored. It has been recently found that modulating the input latent code used in GANs can reasonably alter some variation factors in the output image, but such manipulation usually presents to change the entire image as a whole. In this work, we propose an effective approach, termed as LoGAN, to support local editing of the output image. Concretely, we introduce two operators, i.e., content modulation and style modulation, together with a priority mask to facilitate the precise control of the intermediate generative features. Taking bedroom synthesis as an instance, we are able to seamlessly remove, insert, shift, and rotate the individual objects inside a room. Furthermore, our method can completely clear out a room and then refurnish it with customized furniture and styles. Experimental results show the great potentials of steering the image generation of pre-trained GANs for versatile image editing.

研究の動機と目的

• 事前学習済みのGANを用いた画像生成において、通常はグローバル編集しかサポートしないものの、局所的かつ微細な制御を可能にする課題に取り組む。
• モデルの再訓練を必要とせず、ユーザーが指定した特定の物体を削除・挿入・回転・再配置できる柔軟な編集を実現する。
• 全物体を削除し、新しい家具とスタイルで再装飾できる方法を開発する。
• 中間特徴マップとプライオリティマスクによる空間的推論を活用することで、局所的編集中に写真的リアリズムと空間的一致性を維持する。

提案手法

• コンテンツモジュレーション（物体の識別と位置を制御）とスタイルモジュレーション（外観を変更）の2つのモジュレーション演算子を導入し、両方とも中間特徴マップに適用する。
• 重なった物体の挿入時に生じる空間的衝突を解消するため、プライオリティマスクを用い、正しいレイヤー順序と視覚的一致性を確保する。
• 入力画像から部屋の構造（壁・床・天井）と物体の位置を推定するため、セマンティックセグメンテーションと幾何的ヒューリスティクスに基づくレイアウト解析パイプラインを採用する。
• StyleGAN2ジェネレータの特定のレイヤーで編集を実行する：物体削除は、より良いブレンドを実現するため第4層で実施し、物体挿入は形状とテクスチャの保存が最適となる第7層で実施する。
• ダウンサンプルされた物体マスクにクラスタリングを適用して物体のポーズを特定し、学習済みの潜在コードクラスタ間の補間により回転を可能にする。
• レイヤー単位での合成により、指定された位置とレイヤーに物体を順次挿入し、その後サンプリングされた潜在コードを用いてスタイル変換を実行することで、シーンを段階的に合成する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのGANの中間特徴マップを、再訓練を伴わずに、局所的かつ微細な画像編集に効果的に利用できるか？
• RQ2 特に挿入や再配置の際、複数の物体間の空間的関係をどのように維持できるか？
• RQ3 ブレンド品質と構造的忠実度のバランスを考慮した場合、物体削除や挿入の最適な編集レイヤーはどこか？
• RQ4 同じ事前学習済みGANモデルを用いて、部屋を完全に空にして、新しい家具とスタイルで再装飾できるか？
• RQ5 特徴空間における潜在コードの操作によって、物体の回転とスタイル変換はどの程度達成可能か？

主な発見

• ジェネレータの第4層での物体削除は、受容 field が大きいため、背景と自然に融合する結果となり、視覚的一致性において後続のレイヤーを上回る。
• 第7層での物体挿入は、初期のレイヤーに比べて、物体の形状とテクスチャをより良く保存するため、優れた結果をもたらす。初期レイヤーでは過剰に平滑化され、特徴がぼやけるためである。
• プライオリティマスクは、複数物体の挿入時に生じる空間的衝突を効果的に解消し、複雑なシーンにおいても正しいレイヤー順序と視覚的妥当性を維持する。
• ダウンサンプルされた物体マスクのクラスタリングにより、物体の姿勢の正確な検出が可能となり、クラスタ中心間の補間により滑らかな回転が実現できる。
• 本手法は、元のレイアウトと背景テクスチャとを正確に再現する写真的リアリズムを持つ空のベッドルームを効果的に生成し、レイアウト解析パイプラインの有効性を裏付けた。
• サンプリングされた潜在コードを用いた再スタイル化により、多様で視覚的に一貫性のある結果が得られ、本手法の装飾済みシーンにおけるスタイル変換の柔軟性を示した。