[論文レビュー] Multi-Mapping Image-to-Image Translation with Central Biasing Normalization

Xiaoming Yu, Zhenqiang Ying+3 more|arXiv (Cornell University)|Jun 26, 2018

Advanced Vision and Imaging参考文献 63被引用数 9

ひとこと要約

本稿では、マルチマッピング画像間変換モデルにおける潜在コードのインジェクションを安定化させる、新しい正規化手法であるCentral Biasing Normalization (CBN)を提案する。従来のバッチ正規化やインスタンス正規化によるモード崩壊を解消する。潜在コードに従って特徴マップの統計を整合させるCBBにより、StarGAN、BicycleGAN、pix2pixなどのモデルにおいて、多様性と画像品質の両方を向上させ、収束が速く、ネットワークアーキテクチャの選択に敏感でない。

ABSTRACT

Recent advances in image-to-image translation have seen a rise in approaches generating diverse images through a single network. To indicate the target domain for a one-to-many mapping, the latent code is injected into the generator network. However, we found that the injection method leads to mode collapse because of normalization strategies. Existing normalization strategies might either cause the inconsistency of feature distribution or eliminate the effect of the latent code. To solve these problems, we propose the consistency within diversity criteria for designing the multi-mapping model. Based on the criteria, we propose central biasing normalization to inject the latent code information. Experiments show that our method can improve the quality and diversity of existing image-to-image translation models, such as StarGAN, BicycleGAN, and pix2pix.

研究の動機と目的

• 標準の正規化層による不一致な特徴分布が原因で生じるマルチマッピング画像間変換におけるモード崩壊を解消すること。
• 特にバッチ正規化やインスタンス正規化が潜在コードの影響に干渉することで生じる潜在コードインジェクションの不安定さの根本的要因を特定すること。
• 強力なマルチマッピングモデルの設計原則として、多様性基準の整合性を確立すること。
• 潜在コード情報を正規化統計に直接インジェクションすることで、安定的かつ分離可能で多様な生成を保証する正規化手法—中央バイアス正規化（CBN）—を開発すること。

提案手法

• 畳み込み出力を、潜在コードに影響を受ける平均成分と残差成分に分解し、潜在コードが特徴マップ平均へのオフセットとして機能することを示した。
• 中央バイアス正規化（CBN）は、標準の正規化層を置き換え、潜在コードから学習可能なバイアスベクトルを学習してバッチ正規化の統計をシフトすることで、各ターゲットマッピングごとに一貫した特徴分布を保証する。
• CBNは、生成器ネットワークに統合され、潜在コードを用いてバッチ正規化層の累積平均および分散をスケーリング・シフトすることで、出力分布に対する明示的制御を可能にする。
• このアプローチはアーキテクチャに依存せず、潜在コード埋め込みを除いて追加パラメータを必要としないため、既存モデルへの容易な統合が可能である。
• StarGAN、BicycleGAN、pix2pixにおけるアブレーションスタディを通じて、CBNと標準の潜在コードインジェクション（バッチ/インスタンス正規化を併用）を比較し、有効性を検証した。
• CBNは内部分布シフトを低減し、訓練安定性を向上させ、収束が速く、再構成損失が改善されることを示した。

実験結果

リサーチクエスチョン

• RQ1 マルチマッピング画像間変換の過程で、潜在コードは畳み込み層の特徴マップの平均にどのように影響を与えるか？
• RQ2 なぜバッチ正規化やインスタンス正規化といった標準の正規化層が、潜在コードベースのモデルにおいてモード崩壊や出力の一貫性の欠如を引き起こすのか？
• RQ3 潜在コードが特徴分布を乱さずに多様な出力マッピングを効果的に制御できるようにするための設計原則は何か？
• RQ4 異なるネットワークアーキテクチャやハイパーパrameterにわたって、潜在コードインジェクションを安定化できる正規化戦略を設計可能か？

主な発見

• CBNは、label2photoおよび顔貌属性変換タスクにおいて、生成画像の多様性を顕著に向上させ、標準的な潜在コードインジェクションと比較して、知覚的距離スコアが最大15%向上した。
• BicycleGANでは、CBNにより収束速度が向上し、損失曲線の比較から、訓練初期段階でより低い再構成損失を達成した。
• pix2pixにランダムなガウスノイズを潜在コードとしてインジェクションした場合でも、CBNにドロップアウトと潜在コード次元の増加を組み合わせることで多様性が向上し、標準的手法を上回った。
• CBNはパディング戦略、正規化タイプ、潜在コード次元といったアーキテクチャ選択に強く、ハイパーパramータチューニングへの感受性が低減した。
• 生成器における内部分布シフトが低減され、複数のデータセットにわたるより安定した訓練ダイナミクスと一般化性能の向上が得られた。
• 特に細部のスタイルや属性の変化を捉える点で、CBNはBicycleGAN や StarGAN といったベースラインモデルを上回る、定性的および定量的評価の両方で優れた性能を示した。