[論文レビュー] Ranking CGANs: Subjective Control over Semantic Image Attributes

Yassir Saquil, Kwang In Kim+1 more|arXiv (Cornell University)|Apr 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 14

ひとこと要約

RankCGAN は、ペairワイズな人間の比較を用いて、意味的画像属性における主観的で連続的な制御を可能にする、新しい条件付き GAN アーキテクチャである。ディスクライマナイザーに加えてランクヘッドを導入することで、画像が『スポーティ』や『笑顔』といった連続的な主観的スケールに沿って生成されるのを学習する。画像の質を維持しながら複数の属性を分離可能であり、細分化された制御が可能な画像編集や転送の応用が可能である。

ABSTRACT

In this paper, we investigate the use of generative adversarial networks in the task of image generation according to subjective measures of semantic attributes. Unlike the standard (CGAN) that generates images from discrete categorical labels, our architecture handles both continuous and discrete scales. Given pairwise comparisons of images, our model, called RankCGAN, performs two tasks: it learns to rank images using a subjective measure; and it learns a generative model that can be controlled by that measure. RankCGAN associates each subjective measure of interest to a distinct dimension of some latent space. We perform experiments on UT-Zap50K, PubFig and OSR datasets and demonstrate that the model is expressive and diverse enough to conduct two-attribute exploration and image editing.

研究の動機と目的

• 画像生成における主観的で連続的な意味的属性をモデル化する課題に取り組むこと。これらは数学的に明確に定義されていないが、人間の認識において一般的に用いられる。
• バイナリのオン/オフ制御ではなく、『よりスポーティ』や『より笑顔』といった細分化された連続的制御を可能にすること。
• グローバルランク付けや高密度なアノテーションを必要とせず、ペアワイズ画像比較のみを用いて生成モデルを訓練すること。
• 潜在空間内で複数の意味的属性を分離しつつ、画像の質と多様性を維持すること。
• 属性ベースの画像編集や意味的属性転送といった実用的応用を支援すること。

提案手法

• 標準的なディスクライマナイザー（真贋分類用）とランクヘッド（主観的画像順序の予測用）を備えた二重ヘッドアーキテクチャを持つ条件付き GAN、すなわち RankCGAN を導入する。
• 『画像 A は画像 B よりもよりスポーティである』といったペアワイズの人間ラベル比較を用いてランクヘッドを訓練し、連続的な主観的スケールの学習を可能にする。
• 潜在空間を二つに分解する：画像の多様性を担うランダムノイズベクトル z と、主観的属性強度を制御する変数 r。
• z と r の両方に条件付けられた共有ジェネレータを採用し、r が属性強度を連続的に調整可能にする。
• ディスクライマナイザーには adversarial loss を、ランカーにはペアワイズマージン損失（例：pairwise margin loss）などのランキング損失を適用し、エンドツーエンドでモデルを訓練する。
• 実画像から主観的属性強度 r を推定するためのエンコーダ E_r を用い、画像編集や属性転送といった後続タスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 グローバルランク付けや高密度アノテーションを必要とせず、GAN ベースのモデルが主観的で連続的な意味的属性表現を学習できるか？
• RQ2 モデルは、『よりスタイリッシュ』や『よりマスキュリン』といった主観的属性スケールに沿って滑らかに変化する、多様で現実的な画像を生成できるか？
• RQ3 複数の主観的属性が潜在空間内で独立して分離され、別々に制御可能か？
• RQ4 ペアワイズ比較のみを用いても、画像編集や属性転送といった実用的応用をサポートできるか？
• RQ5 標準的な CGAN と比較して、ランクヘッドの追加が属性強度の制御を向上させるか？

主な発見

• RankCGAN は、UT-Zap50K、PubFig、OSR といった複数のデータセットで『スポーティ』や『マスキュリン』といった主観的属性の連続的かつ分離可能な表現を成功裏に学習した。
• モデルは、主観的属性スケールに沿って滑らかに変化する画像を生成しており、急激な変化がなく、属性強度の効果的な制御が可能であることを示した。
• 画像編集の実験では、z を一定に保ちながら属性制御変数 r のみを変化させることで、妥当で知覚的に意味のある遷移（例：よりスモールなスタイルやより笑顔）が得られた。
• 属性転送タスクでは、ソース画像から主観的属性強度を抽出し、それらを属性が中性でないターゲット画像に適用できることが示された。
• グローバルランク付けや完全な属性ラベル付けを必要とせず、ペアワイズ比較アノテーションのみで強力な性能を達成した。
• 定性的な結果から、生成画像は高い現実性と多様性を維持しており、1次元および2次元の属性空間において、属性の進行が知覚的に整合的であることが確認された。