[論文レビュー] Boundless: Generative Adversarial Networks for Image Extension

Piotr Teterwak, Aaron Sarna+5 more|arXiv (Cornell University)|Aug 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 34

ひとこと要約

この論文は、Wasserstein GANの識別器のセマンティック条件付けを用いて、画像の境界を越えた一貫した拡張を生成し、大きな外挿とパノラマを、意味論と質感の改善とともに可能にします。

ABSTRACT

Image extension models have broad applications in image editing, computational photography and computer graphics. While image inpainting has been extensively studied in the literature, it is challenging to directly apply the state-of-the-art inpainting methods to image extension as they tend to generate blurry or repetitive pixels with inconsistent semantics. We introduce semantic conditioning to the discriminator of a generative adversarial network (GAN), and achieve strong results on image extension with coherent semantics and visually pleasing colors and textures. We also show promising results in extreme extensions, such as panorama generation.

研究の動機と目的

• 境界を越えた妥当な画像拡張をGANが学習できることを示す。
• 識別器にセマンティック条件付けを導入し、訓練を安定化させ、意味的整合性を向上させる。
• 拡張品質を、コンテキスト対拡張比率の変化で評価し、インペインティングのベースラインと比較する。
• パノラマにおける拡張を示し、意味的ドリフトに対する頑健性を検証する。

提案手法

• 入力画像とマスクで条件付けられたジェネレータを用いた水性GANを用いる。
• インペインティングで用いられる文脈注意リファインメントを排除し、パッチのコピーよりも妥当な拡張を促す。
• 識別器の条件付けを導入: (i) 入力の既知ピクセルを上書きすることでの縫合感知条件付け、(ii) 事前学習済みInceptionV3ネットワークの活性化を用いたセマンティック条件付け。
• ジェネレータにインスタンス正規化とスキップ接続を適用し、層間でゲート付きと膨張畳み込みを用いる。
• 再構成誤差（L1）損失と敵対的ヒンジ損失を組み合わせた訓練を、λを小さく(0.01)調整してバランスをとる。
• Places365ベースのデータセットで25%、50%、75%の拡張と25%のインペインティングマスクで評価。

実験結果

リサーチクエスチョン

• RQ1 境界を越えた高い意味的整合性を持つ画像をGANベースのモデルで拡張できるか。
• RQ2 識別器のセマンティック条件付けは、特に大きな拡張で拡張品質を改善するか。
• RQ3 提案手法は拡張サイズ全般でインペインティングベースラインおよび知覚/特徴マッチング代替法とどう比較されるか。
• RQ4 パノラマ風の再帰的拡張は意味的ドリフトなしで実現可能か。

主な発見

マスクタイプ	DF FID	DF PSNR	PC FID	PC PSNR	NCnd FID	NCnd PSNR	Ours FID	Ours PSNR
25%	1.87	7.11	1.40	11.10	0.85	8.96	0.79	10.17
50%	11.65	6.69	11.20	6.63	5.01	7.55	3.46	8.63
75%	31.21	9.74	31.83	8.94	19.17	9.08	8.79	8.07
Inp (central square)	4.96	14.31	3.70	13.78	2.73	14.24	2.53	14.17

• 提案手法は、拡張が大きくなるにつれて、最先端のインペインティングベースライン（DeepFill, PConv）よりも意味的整合性が高い拡張を得る。
• 識別器のセマンティック条件付けは、既知ピクセルの上書きとInceptionV3の活性化を介して、大きな拡張（75%）でより良い性能をもたらす。
• アブレーション研究により、スキップ接続、識別器条件付け、インスタンス正規化、およびより大きなバッチサイズが質感ディテールを向上させ、アーティファクトを減少させる。
• 定量的な結果は、75%の拡張でOurがベースラインをFIDとPSNRで上回り、25%および50%の拡張でもPSNR/FIDを競合的に維持。
• パノラマ風の拡張は実現可能であり、再帰適用によりシードから遠い領域で少しの意味的ドリフトを伴いながらも妥当な拡張が得られる。