[論文レビュー] Discriminative Region Proposal Adversarial Networks for High-Quality Image-to-Image Translation

Chao Wang, Haiyong Zheng+4 more|arXiv (Cornell University)|Nov 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 12

ひとこと要約

本稿では、高品質な画像対画像翻訳のためのGANベースの新規フレームワーク、識別的領域提案対抗ネットワーク（DRPAN）を提案する。DRPANは、識別的領域提案ネットワークと専用の修正モジュールを用いて、反復的に不自然な画像領域を特定・精錬する。対抗訓練を最もアーティファクトを出しやすい領域に集中させることで、Cityscapes、Zappos50k、エッジ対画像タスクを含む複数のベンチマークで、最先端のフォトリアリスムと詳細の忠実度を達成する。

ABSTRACT

Image-to-image translation has been made much progress with embracing Generative Adversarial Networks (GANs). However, it's still very challenging for translation tasks that require high quality, especially at high-resolution and photorealism. In this paper, we present Discriminative Region Proposal Adversarial Networks (DRPAN) for high-quality image-to-image translation. We decompose the procedure of image-to-image translation task into three iterated steps, first is to generate an image with global structure but some local artifacts (via GAN), second is using our DRPnet to propose the most fake region from the generated image, and third is to implement "image inpainting" on the most fake region for more realistic result through a reviser, so that the system (DRPAN) can be gradually optimized to synthesize images with more attention on the most artifact local part. Experiments on a variety of image-to-image translation tasks and datasets validate that our method outperforms state-of-the-arts for producing high-quality translation results in terms of both human perceptual studies and automatic quantitative measures.

研究の動機と目的

• 高解像度においても継続的に発生するローカルなアーティファクトやぼやけた詳細の問題に取り組む。
• 標準的なパッチ単位の識別器では、問題の大きいローカル領域の生成器の精錬を効果的に誘導できないという限界を克服する。
• 繰り返し不自然な領域を特定・修正するフィードバックループを導入することで、フォトリアリスムと構造的忠実度を向上させる。
• セマンティックセグメンテーションから写真、スケッチから画像、エッジから画像に至る多様な画像翻訳タスクに適用可能な汎用的フレームワークを構築する。
• 識別的領域提案と専用の修正ネットワークを組み合わせることで、自動評価指標と人的知覚評価の両方を向上させる。

提案手法

• 画像翻訳を3段階の反復的プロセスに分解する：(1) GANがグローバルな構造を持つがローカルなアーティファクトを含む画像を生成、(2) DRPnetがスライディングウィンドウを用いたパッチ単位の識別スコアリングにより、最も偽物に近い領域を特定、(3) 修正モジュールが局所的な画像補填（インpainting）を実行して最も不自然な領域を精錬する。
• パッチ単位の識別器を設計し、偽物確率が高くなる領域を強調する識別スコアマップを生成することで、アーティファクトの正確な局所化を可能にする。
• 実画像とマスク処理された偽物領域（実画像の最も不自然な領域を偽物に置き換えたもの）を区別する修正ネットワークを導入し、生成器に局所的フィードバックを提供する。
• パッチ識別器と修正ネットワークの両方の損失を重み付けして組み合わせ、グローバルとローカルの精錬のバランスを保ち、タスク固有のニーズに適応する。
• 生成器がグローバルな対抗損失に加え、修正ネットワークからの局所的フィードバックに基づいて更新されるGAN学習ループにおいて、フレームワークをエンドツーエンドで適用する。
• 修正ネットワークのネガティブサンプルとして、最も不自然な領域を偽物に置き換えたマスク処理済み実画像（実画像の一部を偽物に置き換えたもの）を用いることで、問題領域に焦点を当てた精錬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 識別的領域提案メカニズムは、GANベースの画像対画像翻訳におけるアーティファクトの局所化を改善できるか？
• RQ2 最も不自然な領域に焦点を当てた専用の修正ネットワークを導入することで、標準的なGANよりも高い知覚的品質が得られるか？
• RQ3 最も偽物に近い領域の反復的精錬は、定量的指標（例：IoU、正解率）と人的知覚スコアの両方を顕著に向上させられるか？
• RQ4 DRPANは、セマンティックセグメンテーションから写真、スケッチから画像、エッジから画像に至る多様な画像翻訳タスクにおいて、どのように性能を発揮するか？
• RQ5 Pix2pix や CRN といった最先端モデルと比較して、高いフォトリアリスムと低減したぼやけ具合を維持しながら、高解像度出力を達成できるか？

主な発見

• Cityscapesデータセットにおいて、DRPANはピxlsごとの正解率88%、クラスごとの正解率52%、クラスIOU 43%を達成し、Pix2pix（83%、36%、29%）とL1+U-Net（86%、42%、35%）を上回る定量的指標を示した。
• 人的知覚評価では、18.2%の参加者がDRPANが生成した画像を「本物」と識別した。これは、Pix2pix（5.3%）、StackGAN類似モデル（6.8%）、CRN（9.4%）を大きく上回った。
• マップから航空画像へのタスクでは、DRPANは33.4%のTurkerが生成画像を本物だと誤認させた。これは、Pix2pix（25.2%）とCycleGAN（26.8%）を上回った。
• エッジ対画像およびスケッチ対画像タスクでは、DRPANはPix2pixよりもシャープで現実的で、アーティファクトが少ない結果を生成した。特にスパarsな入力や曖昧な入力において顕著だった。
• アブレーションスタディの結果、偽物マスク機構を削除すると性能が低下し、修正ネットワークが局所的アーティファクトの精錬において重要であることが確認された。
• ペairワイズ比較において、DRPANは人間によるリアリズム評価で最高得点を記録した：セマンティックから写真へのタスクで、91.2%の参加者がDRPANをPix2pixより好んだ。StackGAN類似モデルより84.6%、CRNより75.7%がDRPANを好んだ。