[論文レビュー] STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing

Ming Liu, Yukang Ding+5 more|arXiv (Cornell University)|Apr 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 20

ひとこと要約

STGANは、ターゲット属性ベクトルとソース属性ベクトルの差分を入力とすることで、トレーニングの安定性を向上させ、関連する属性に焦点を当てるために、一貫した選択的転送ネットワークを提案する。この手法は、選択的転送ユニット（STU）を導入し、エンコーダー特徴量を適応的に変更することで、属性操作の正確性と画像品質の両方を向上させる。顔の属性編集および季節変換タスクにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Arbitrary attribute editing generally can be tackled by incorporating encoder-decoder and generative adversarial networks. However, the bottleneck layer in encoder-decoder usually gives rise to blurry and low quality editing result. And adding skip connections improves image quality at the cost of weakened attribute manipulation ability. Moreover, existing methods exploit target attribute vector to guide the flexible translation to desired target domain. In this work, we suggest to address these issues from selective transfer perspective. Considering that specific editing task is certainly only related to the changed attributes instead of all target attributes, our model selectively takes the difference between target and source attribute vectors as input. Furthermore, selective transfer units are incorporated with encoder-decoder to adaptively select and modify encoder feature for enhanced attribute editing. Experiments show that our method (i.e., STGAN) simultaneously improves attribute manipulation accuracy as well as perception quality, and performs favorably against state-of-the-arts in arbitrary facial attribute editing and season translation.

研究の動機と目的

• 属性編集における画像品質と属性操作能力のトレードオフを解消すること。
• 完全なターゲット属性ベクトルが画像再構成および視覚的忠実度に与える悪影響を低減すること。
• 変更された属性にのみ焦点を当てることで、任意の属性編集の柔軟性と正確性を向上させること。
• 局所的およびグローバルな属性編集を効果的に処理できる統合モデルの開発。
• エンコーダー・デコーダー層間でのトレーニングの安定性と特徴量の一貫性の向上。

提案手法

• 不要なガイドラインを減らすために、完全なターゲットベクトルの代わりにターゲットとソースの属性ベクトルの差分ベクトルを入力とする。
• 各エンコーダー・デコーダー層に選択的転送ユニット（STU）を導入し、差分ベクトルと隠れ状態に基づいてエンコーダー特徴量を適応的に選択・変更する。
• エンコーダー特徴量、内部状態、および差分属性ベクトルを組み合わせる学習可能なメカニズムを用いて、タスク固有の特徴量変更を生成する。
• 変更されたエンコーダー特徴量をデコーダー特徴量と連結することで、空間的詳細を保持し、再構成性能を向上させる。
• スキップ接続を備えた標準的なエンコーダー・デコーダー枠組みにSTUを統合し、高い知覚的品質を維持する。
• 生成的敵対的損失、再構成損失、アイデンティティ損失を用いてトレーニングすることで、現実的で正確な編集を保証する。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲット属性の差分ベクトルを完全なターゲットベクトルの代わりに入力とすることで、画像再構成性能が向上し、視覚的アーティファクトが減少するか？
• RQ2 STUによる選択的特徴量変更は、同時に属性操作の正確性と画像品質を向上させることができるか？
• RQ3 性能のトレードオフの観点から、選択的転送機構は標準的なスキップ接続と比べてどのように差がつくか？
• RQ4 STUメカニズムは、グローバル属性と微細な属性を含む多様な属性タイプにわたって一般化性能を向上させるか？
• RQ5 各属性ペairのペアワイズトレーニングデータが存在しない状況でも、高品質な編集を達成できるか？

主な発見

• CelebAデータセットにおいて、STGANはAttGAN、StarGAN、CycleGANと比較して優れた属性生成正確性を達成し、'性別' や '年齢' といったグローバル属性において顕著な向上を示した。
• 差分属性ベクトルの使用により、属性が変更されていなくても画像再構成性能が向上し、視覚的劣化が軽減された。
• STGAN-dst（完全なターゲットベクトルを使用）はSTGANより性能が劣っており、属性の差分に焦点を当てる利点を裏付けた。
• STUのバリエーションは畳み込み型およびGRUベースの代替手法を上回り、STGAN-resはSTGANに改善を示さなかったことから、STUは選択的特徴量変調においてすでに最適であることが示唆された。
• ユーザースタディーでは、STGANが競合手法と比較して50％以上の比較で勝利しており、優れた知覚的品質と現実性を示している。
• 定性的な結果から、384×384解像度の高精細で写真のような編集結果が得られ、アーティファクトが最小限に抑えられ、属性の転送が一貫していることが確認された。