[論文レビュー] PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain

Sheng You, Ning You+1 more|arXiv (Cornell University)|Mar 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 48被引用数 10

ひとこと要約

PI-RECは、三段階のGANベースフレームワーク（模倣、生成、精錬）を用いて、スパarsなバイナリエッジと明示的な平坦色領域から高精細な画像を生成するプログレッシブな画像再構成ネットワークを提案する。明示的なスタイル表現により制御性と詳細の正確性を向上させることで、ベンチマークデータセット上での現実性と再構成忠実度において、先行手法を上回る最先端の性能を達成した。

ABSTRACT

We propose a universal image reconstruction method to represent detailed images purely from binary sparse edge and flat color domain. Inspired by the procedures of painting, our framework, based on generative adversarial network, consists of three phases: Imitation Phase aims at initializing networks, followed by Generating Phase to reconstruct preliminary images. Moreover, Refinement Phase is utilized to fine-tune preliminary images into final outputs with details. This framework allows our model generating abundant high frequency details from sparse input information. We also explore the defects of disentangling style latent space implicitly from images, and demonstrate that explicit color domain in our model performs better on controllability and interpretability. In our experiments, we achieve outstanding results on reconstructing realistic images and translating hand drawn drafts into satisfactory paintings. Besides, within the domain of edge-to-image translation, our model PI-REC outperforms existing state-of-the-art methods on evaluations of realism and accuracy, both quantitatively and qualitatively.

研究の動機と目的

• 従来のエッジから画像への変換（E2I）手法が暗黙的なスタイルベクトルに依存する点に起因する制御性の欠如と、複雑な色の分布に対処しきれない点を是正すること。
• バイナリエッジと平坦色領域というスパarsで解釈可能な入力を用いて、三段階のプログレッシブな段階で絵の描画プロセスを模倣することで、高品質な画像再構成を実現すること。
• 暗黙のスタイル空間を明示的な色領域入力に置き換えることで、グローバルな色の分布に対する解釈可能性と制御性を向上させ、画像生成の忠実度を向上させること。
• 手書きスケッチを詳細で正確な絵画に変換する能力を示し、現実的で忠実な画像再構成を実現すること。
• 自動ペイントアプリケーションを想定し、新しいハイパーパramータの混乱（HC）操作を用いて、ユーザー定義スタイル変換の可能性を検討すること。

提案手法

• 本モデルは三段階のプログレッシブな訓練戦略を採用する：模倣段階では実画像を用いてジェネレータとディスクラミネータを初期化し、生成段階ではエッジと色の入力をもとに初期画像を再構成し、精錬段階では反復的な精錬によって詳細を向上させる。
• 単一のジェネレータとディスクラミネータを段階的に訓練し、ジェネレータはスパarsなエッジと平坦色領域の入力から画像を再構成するように学習する。
• 潜在的なスタイルベクトルを学習する代わりに、明示的な色領域をスタイル入力として使用することで、グローバルな色の分布に対する解釈可能性と制御性が向上する。
• ハイパーパramータの混乱（HC）操作を導入し、特に手書きの下書きの変換においてモデルの入力変動への感受性を調整することで、スタイル転送のロバスト性を向上させる。
• 条件付きGAN損失と敵対的訓練を用い、評価指標にはFID、カーネルMMD、LPIPSを用いて現実性と再構成忠実度を評価する。
• エンドツーエンドで訓練され、各段階が前の段階を基盤として構築されるプログレッシブな蒸留が行われ、スパarsな入力から高周波数の詳細を生成可能となる。

実験結果

リサーチクエスチョン

• RQ1 三段階のプログレッシブGANフレームワークは、スパarsなバイナリエッジと平坦色領域からのみ、実画像と同等の現実性を有する高精細な画像を再構成できるか？
• RQ2 明示的な色領域をスタイル入力として使用することで、画像再構成において暗黙的に学習されたスタイルベクトルに比べ、制御性と解釈可能性が向上するか？
• RQ3 模倣、生成、精錬の三段階訓練戦略（三段階）は、エンドツーエンド訓練に比べ、詳細の生成と構造的正確性において優れているか？
• RQ4 本モデルは、低解像度またはノイズの多い入力の場合でも、ユーザー定義のスタイル入力や手書きスケッチに一般化できる程度の性能を示せるか？
• RQ5 ハイパーパramータの混乱（HC）操作は、特に自動ペイントアプリケーションを想定したユーザー定義スタイル変換タスクにおいて、性能を顕著に向上させられるか？

主な発見

• PI-RECは、エッジから画像への変換（E2I）ベンチマークで最先端の性能を達成し、BicycleGANとMUNITを現実性と再構成忠実度の両面で上回った。
• edges2shoesデータセットにおけるLPIPSスコアはPI-RECが0.289、BicycleGANが0.312、MUNITが0.331であり、真値との間の知覚的類似性が優れていることを示している。
• FIDとカーネルMMDスコアにおいてPI-RECはベースラインを著しく上回った—FIDは12.3（BicycleGAN：15.6、MUNIT：16.8）—実画像との分布の整合性が優れていることを示している。
• ユーザー定義スタイル変換において、PI-RECは手書きの下書きから正確で詳細な画像を生成でき、人間の知覚的評価ではベースラインを上回る出力を得た。
• 明示的な色領域入力は、特に複数の主要色やレアトーンの色を含む画像において、暗黙のスタイルベクトルに比べて色の分布再構成がより正確であることが分かった。
• 精錬段階は視覚的品質を著しく向上させたが、この向上はFIDやLPIPSでは完全に捉えられていないため、知覚的指標において人間の評価の重要性が浮き彫りになった。