[論文レビュー] A Novel BiLevel Paradigm for Image-to-Image Translation

Liqian Ma, Qianru Sun+2 more|arXiv (Cornell University)|Apr 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 5

ひとこと要約

本稿では、画像対画像翻訳のための新規な二段階（BiL）学習パラダイムを提案する。この手法は、汎用的（GP）モデルとインスタンス固有（IS）モデルの間を交互に学習することで、少数のショットデータを用いて新しいシーンへの迅速な適応を可能にする。ISモデルをGPパラメータで初期化し、類似したシーンからの補助的微調整を実施することで、画像品質とアイデンティティの保持が著しく向上し、PG 2 や Pix2Pix といったベースラインモデルを上回る性能を発揮する。顔画像およびストリートビューのデータセットにおいて実験した結果、顕著な改善が得られた。

ABSTRACT

Image-to-image (I2I) translation is a pixel-level mapping that requires a large number of paired training data and often suffers from the problems of high diversity and strong category bias in image scenes. In order to tackle these problems, we propose a novel BiLevel (BiL) learning paradigm that alternates the learning of two models, respectively at an instance-specific (IS) and a general-purpose (GP) level. In each scene, the IS model learns to maintain the specific scene attributes. It is initialized by the GP model that learns from all the scenes to obtain the generalizable translation knowledge. This GP initialization gives the IS model an efficient starting point, thus enabling its fast adaptation to the new scene with scarce training data. We conduct extensive I2I translation experiments on human face and street view datasets. Quantitative results validate that our approach can significantly boost the performance of classical I2I translation models, such as PG2 and Pix2Pix. Our visualization results show both higher image quality and more appropriate instance-specific details, e.g., the translated image of a person looks more like that person in terms of identity.

研究の動機と目的

• 限られたペairedトレーニングデータのもとで、高 diversity とカテゴリバイアスの問題に取り組むこと。
• 少数のトレーニング画像のみを用いて、翻訳モデルを新しいシーンに迅速に適応させること。
• 多様なシーンにわたる汎用的な翻訳知識を学習しつつ、アイデンティティや細部といったインスタンス固有の属性を保持すること。
• 特に複雑なシーン（例：ストリートビュー）において、低データ環境下での画像品質の向上とアーティファクトの低減を図ること。

提案手法

• BiLパラダイムは、新しいシーン用のインスタンス固有（IS）モデルの学習と、ISモデルの検証損失を用いた汎用的（GP）モデルの更新を交互に実行する。
• GPモデルは多様なシーンで学習され、汎用的な翻訳知識を学習する。その後、その知識を用いてISモデルを初期化することで、迅速な適応が可能になる。
• 構造的情報を基にしたシーン類似度メトリクスを用いて、類似したシーンを特定し、GPモデルの補助的微調整を誘導する。
• 補助的微調整により、GPモデルは類似したシーンのデータを取り入れることで、新しいISタスクの初期化品質が向上する。
• ISモデルは、ターゲットシーンからの少数の画像のみを用いて、GPパラメータから微調整される。これにより、アイデンティティと詳細が保持される。
• 本フレームワークはモデルアーキテクチャに依存せず、PG 2 や Pix2pix といった既存モデルの性能を向上させることができる。アーキテクチャの変更なしに実現される。

実験結果

リサーチクエスチョン

• RQ1 少数ショット画像対画像翻訳において、汎用的モデルをインスタンス固有モデルの初期化に効果的に利用できるか？
• RQ2 類似したシーンを効率的に同定し、それらを活用することで、画像翻訳における少数ショット適応をどのように改善できるか？
• RQ3 類似したシーンデータを用いたGPモデルの補助的微調整は、より良い一般化性能とISモデルの性能向上をもたらすか？
• RQ4 BiLパラダイムは、低データ環境下でアーティファクトをどれほど低減し、アイデンティティ保持を向上させられるか？
• RQ5 標準ベースラインと比較して、BiLアプローチはストリートビューのような多様で複雑なデータセットにおいて、どの程度の性能を発揮するか？

主な発見

• FaceForensicsデータセットにおいて、BiL-PG 2（5ショット）はLPIPSをPG 2（5ショット）と比較して49.8％低減し、0.106から0.053に低下した。また、PSNRは4.61 dB向上した。
• 1ショット顔画像翻訳において、BiL-PG 2はLPIPSを0.100から0.076に低下させ、SSIMを0.584から0.655に向上させ、優れた一般化性能を示した。
• 挑戦的なクロスデータセットストリートビュー設定において、BiL-PG 2（1ショット）はLPIPSを8.0％（0.174から0.160に）低下させ、SSIMを11.3％（0.400から0.445に）向上させた。
• GPモデルの出力は、ぼやけた背景を持つ平均的な顔として可視化され、学習された一般化が確認された。
• 補助的微調整は性能向上に顕著な効果を示した。BiL-PG 2（1ショット）はLPIPS 0.160、SSIM 0.445を達成し、ベースラインのPG 2（1ショット）のLPIPS 0.174、SSIM 0.400を上回った。
• 定性的な結果では、特に複雑なシーンにおいて、アイデンティティ保持（例：髪、肌）とシャープなディテール（例：目、窓）の再現性が優れており、顕著な改善が確認された。