[論文レビュー] TSIT: A Simple and Versatile Framework for Image-to-Image Translation

Liming Jiang, Changxu Zhang+4 more|arXiv (Cornell University)|Jul 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 6

ひとこと要約

TSIT は、多スケール特徴正規化（FADE と FAdaIN）を用いた対称的二ストリームネットワークを採用する、シンプルで統合的な画像対画像変換フレームワークを提案する。これは、コンテンツ構造とスタイル表現を同時にモデル化するもので、サイクル整合性やタスク固有の制約を必要とせず、高精細でマルチモーダルな画像合成と任意のスタイル制御を実現する。その結果、教師ありおよび教師なし設定の両方で最先端の性能を達成した。

ABSTRACT

We introduce a simple and versatile framework for image-to-image translation. We unearth the importance of normalization layers, and provide a carefully designed two-stream generative model with newly proposed feature transformations in a coarse-to-fine fashion. This allows multi-scale semantic structure information and style representation to be effectively captured and fused by the network, permitting our method to scale to various tasks in both unsupervised and supervised settings. No additional constraints (e.g., cycle consistency) are needed, contributing to a very clean and simple method. Multi-modal image synthesis with arbitrary style control is made possible. A systematic study compares the proposed method with several state-of-the-art task-specific baselines, verifying its effectiveness in both perceptual quality and quantitative evaluations.

研究の動機と目的

• 教師ありおよび教師なし設定の両方で動作する、統一的でタスクに依存しない画像対画像変換フレームワークの開発。
• 訓練の複雑化や一般化性能の低下を招く、サイクル整合性などのタスク固有の制約に依存しないことの実現。
• 一つのモデルで高品質でマルチモーダルな画像合成と制御可能なスタイル転送を可能にする。
• 粗くから細かくまでの多スケール正規化スキームにより、意味的構造とスタイルの特徴レベルの統合を改善する。
• 最小限で洗練されたアーキテクチャに、適切に設計された正規化層を組み込むことで、複雑なタスク固有のベースラインを上回ることの可能性を示すこと。

提案手法

• フレームワークは、コンテンツ構造をエンコードする（コンテンツストリーム）と、スタイル表現をエンコードする（スタイルストリーム）の二つの対称的ストリームからなる生成器を採用する。
• コンテンツストリームから、多スケール特徴に対して特徴適応的インスタンス正規化（FADE）を適用し、空間的構造を保持する。
• スタイルストリームから、複数のレベルでスタイル情報を注入するために、特徴適応的インスタンス正規化（FAdaIN）を用いる。
• コンテンツとスタイルの両方の条件付けを統合的に可能にする一貫性のある特徴変換スキームにより、二つのストリームを統合する。
• サイクル整合性やピxlsレベルの監視などの追加制約を除き、標準的な損失（敵対的損失および知覚的損失）を用いる。
• アーキテクチャはエンドツーエンドで訓練され、教師あり（例：意味的画像合成）および教師なし（例：任意のスタイル転送）の両方のタスクに直接適用可能である。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のコンponentsを必要とせず、多様な画像対画像変換タスクで強力な性能を達成できる統一フレームワークは存在するか？
• RQ2 多スケール特徴正規化（FADE と FAdaIN）は、画像生成において意味的構造とスタイルの両方を効果的に捉えられるか？
• RQ3 共有された正規化スキームを有する二ストリームアーキテクチャは、単一ストリームやタスク固有の設計に比べ、忠実度および多様性の面で優れているか？
• RQ4 標準的な損失のみを用いて、任意のスタイル制御が可能な高品質でマルチモーダルな出力を生成できるか？
• RQ5 逆方向の設定（例：教師ありモデルを教師なし変換に、または逆に適用）において、このフレームワークはどのように性能を発揮するか？

主な発見

• ADE20K データセットでは、mIoU 65.9 および精度 82.7% を達成し、SPADE や CC-FPSE などの先行手法を上回った。
• BDD100K データセットでは、マルチモーダルな時間および天候変換において FID 31.6 を達成し、最先端のベースラインと同等またはそれを上回った。
• アブレーションスタディの結果、コンテンツストリームを削除すると構造的アーチファクトが生じ、スタイルストリームを削除するとマルチモーダルな合成が不能になることが確認された。
• 逆方向の設定でも強力な性能を維持し、MUNIT や SPADE などの専用モデルよりも、タスクに不適合な状況でも優れた性能を示した。
• FADE と FAdaIN の使用により、困難なスタイル転送条件下でも、最小限のアーチファクトで高精細でフォトリアルな生成が可能になった。
• サイクル整合性や複雑なアーキテクチャ的変更に依存せず、複数のベンチマークで最先端の結果を達成した。