[論文レビュー] Learning Compositional Visual Concepts with Mutual Consistency

Yunye Gong, Srikrishna Karanam+4 more|arXiv (Cornell University)|Nov 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 7

ひとこと要約

本稿では、複数の生成的敵対的ネットワーク（GAN）間での相互一貫性を用いて視覚的コンセプトを学習する ConceptGAN というフレームワークを提案する。これにより、データが乏しいサブドメインにおいても意味的に意味のある画像合成が可能になる。形状、照明、テクスチャなどのコンセプトの組み合わせに対して循環的一貫性を課すことにより、すべてのコンセプトの組み合わせの同時訓練データが不要な状態でも、頑健なデータ拡張と転移学習が可能となる。

ABSTRACT

Compositionality of semantic concepts in image synthesis and analysis is appealing as it can help in decomposing known and generatively recomposing unknown data. For instance, we may learn concepts of changing illumination, geometry or albedo of a scene, and try to recombine them to generate physically meaningful, but unseen data for training and testing. In practice however we often do not have samples from the joint concept space available: We may have data on illumination change in one data set and on geometric change in another one without complete overlap. We pose the following question: How can we learn two or more concepts jointly from different data sets with mutual consistency where we do not have samples from the full joint space? We present a novel answer in this paper based on cyclic consistency over multiple concepts, represented individually by generative adversarial networks (GANs). Our method, ConceptGAN, can be understood as a drop in for data augmentation to improve resilience for real world applications. Qualitative and quantitative evaluations demonstrate its efficacy in generating semantically meaningful images, as well as one shot face verification as an example application.

研究の動機と目的

• 共同分布のサンプルが入手できない不完全で離散的なデータセットから視覚的コンセプトを学ぶという課題に対処すること。
• すべてのコンセプトの組み合わせの同時訓練データが存在しないサブドメインに対し、コンセプト間の相互一貫性を活用して意味的な画像合成とデータ拡張を可能にすること。
• 属性間の意味的関係を保持する条件付き画像生成を通じて、現実世界のモデルの頑健性を向上させること。
• コンセプトの組み合わせをグラフベースの反復推論によって、複数のコンセプトに一般化すること。
• 顔認識を代理タスクとして用いて、本手法の有効性を実証し、コンセプトベースのデータ拡張によって認識精度の向上を示すこと。

提案手法

• 各 GAN が1つの視覚的コンセプト（例：照明、形状、テクスチャ）を学習するように、複数の GAN 間での循環的一貫性問題としてコンセプト学習を定式化すること。
• ペアドコンセプト（例：色 → 線画、バッグ → 靴）間で4ノードの循環的一貫性制約を課し、コンセプト変換の相互適合性を保証すること。
• 可換的一貫性（$\mathcal{L}_{\text{comm}}$）と距離4の循環的一貫性（$\mathcal{L}_{\text{cyc4}}$）を組み合わせた複合損失関数を導入し、訓練の安定化と生成品質の向上を図ること。
• コンセプトの組み合わせをハイパーキューブのノードとしてグラフィカルモデルで表現し、観測済みノード（データあり）が、循環的制約を通じて未観測ノードの推論を可能にすること。
• 観測済みノードからの距離順に新しいコンセプトの組み合わせを段階的に発見することで、$n$ コンセプトに一般化し、スケーラブルで近似的な推論を可能にすること。
• 学習済みのコンセプトマッピングを用いて、線画の靴など、以前に未確認のドメインにおける画像の合成を、コンセプト固有の GAN と一貫性制約のみで実現すること。

実験結果

リサーチクエスチョン

• RQ1 共同分布のサンプルが入手できない離散的なデータセットから、視覚的コンセプトを同時に学習することは可能か？
• RQ2 複数の視覚的コンセプト間で相互一貫性をどのように強制することで、画像生成における意味的整合性を確保できるか？
• RQ3 循環的一貫性制約は、訓練データが存在しないサブドメインにおいて、どれほどリアルな画像の生成を可能にするか？
• RQ4 提案手法は、顔認識などの下流タスクにおける有効なデータ拡張戦略として機能できるか？
• RQ5 本フレームワークは、2つを超えるコンセプトに対してスケーラブルかつ効率的に一般化できるか？

主な発見

• 両方の損失 $\mathcal{L}_{\text{comm}}$ と $\mathcal{L}_{\text{cyc4}}$ を含む完全なモデルは、顔認識のランク1性能で16.9％を達成し、これらのコンponents を欠いたモデルを上回った。
• $\mathcal{L}_{\text{cyc4}}$ を欠いた場合、顔認識の正確性は12.1％に低下し、循環的一貫性が意味的構造を保持するために果たす重要な役割を示した。
• 完全な損失を用いた場合、属性分類の正確性は66％に達したが、$\mathcal{L}_{\text{cyc4}}$ を欠いた場合では18％にとどまり、より優れた分離性と一般化性能が確認された。
• 定性的な結果から、完全なモデルは、CycleGAN よりも未学習ドメイン（例：靴の線画）において、品質が高く意味的整合性の高い画像を生成した。
• フレームワークは、学習解像度の $64 \times 64$ を超えて、$128 \times 128$ の画像を合成に成功しており、スケーラビリティを示した。
• 反復的推論スキームにより、未観測のコンセプトの組み合わせ（例：3コンセプトグラフにおけるノード7）の回復が可能となり、$n > 2$ コンセプトへの一般化が実証された。