[論文レビュー] Variational Capsules for Image Analysis and Synthesis

Huaibo Huang, Lingxiao Song+3 more|arXiv (Cornell University)|Jul 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 4

ひとこと要約

本論文は、画像を潜在変数による要因の合成としてモデル化することで、画像分析と画像生成を統合する確率的拡張である変分カプセル（VCs）を導入する。エンティティの存在は事前分布からの発散によって表現され、VCsは高精度な分類および属性予測と、分離可能で制御可能で多様性に富んだ生成を可能にする。

ABSTRACT

A capsule is a group of neurons whose activity vector models different properties of the same entity. This paper extends the capsule to a generative version, named variational capsules (VCs). Each VC produces a latent variable for a specific entity, making it possible to integrate image analysis and image synthesis into a unified framework. Variational capsules model an image as a composition of entities in a probabilistic model. Different capsules' divergence with a specific prior distribution represents the presence of different entities, which can be applied in image analysis tasks such as classification. In addition, variational capsules encode multiple entities in a semantically-disentangling way. Diverse instantiations of capsules are related to various properties of the same entity, making it easy to generate diverse samples with fine-grained semantic attributes. Extensive experiments demonstrate that deep networks designed with variational capsules can not only achieve promising performance on image analysis tasks (including image classification and attribute prediction) but can also improve the diversity and controllability of image synthesis.

研究の動機と目的

• カプセルを用いて画像分析と画像生成を統合する1つの確率的枠組みを構築すること。
• カプセルネットワークを純粋に識別的なモデルから、共同識別的・生成的モデルへと拡張すること。
• 意味的に分離された潜在表現を通じて、制御可能で多様性に富んだ画像生成を可能にすること。
• 生成的再構成を活用することで、画像分類および属性予測の精度を向上させること。
• 意味的属性に対して細かく制御可能な条件付き画像生成のための新手法を提供すること。

提案手法

• 各変分カプセルは、特定のエンティティを表す潜在変数を生成し、既知の事前分布に一致する分布としてモデル化される。
• エンティティの存在は、カプセルの事後分布と事前分布との発散によって測定され、活動ベクトルの長さが信頼度の指標として置き換えられる。
• エンコーダは入力画像を変分カプセルにマッピングし、潜在変数上の事後分布を近似する。
• デコーダはマスク処理またはサンプリングされたカプセル表現から画像を再構成し、画像生成を可能にする。
• 推論時には、事前分布からサンプリングすることで新しいサンプルが生成され、多様で制御可能な生成が可能になる。
• VAEに類似したアーキテクチャを採用し、エンコーダとデコーダのネットワークを別々に持ち、再構成損失およびKL発散損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークは、画像分析と画像生成の両方を統合する包括的な生成的・識別的枠組みへと拡張可能か？
• RQ2 生成的再構成を用いることで、変分カプセルは画像分類および属性予測の性能を向上させられるか？
• RQ3 VCsにおける分離可能な潜在表現は、細かく制御可能で多様性に富んだ画像生成を可能にするか？
• RQ4 エンティティの信頼度を表すために、事前分布からの発散と活動ベクトルの長さのどちらが優れているか？
• RQ5 本フレームワークは、意味的制御を保持しながら、現実的で多様なサンプルを生成できるか？

主な発見

• MNISTの数字分類において、0.30%の誤差率を達成し、先行するカプセルネットワークを上回り、最先端の性能に近づいた。
• 顔の属性予測において、精度と属性編集の制御性の両面で優れた性能を示した。
• 同じ活性化カプセルからの画像生成は、アイデンティティを保持しながら眼鏡のスタイルを変化させるなど、属性に対して細かく制御可能な多様なサンプルを生成した。
• 潜在表現間の補間は、顔の属性に連続的で視覚的に魅力的な遷移をもたらし、分離可能で意味のある表現であることを確認した。
• 再構成品質は頑健であり、重要な画像の詳細を保持しながら、サンプリングされた潜在コードからの高精細な生成を可能にした。
• 再構成損失を通じて画像分析の精度が向上し、分析と生成のコンponentsの間で相互に恩恵をもたらすことが示された。