[論文レビュー] SCAN: Learning Abstract Hierarchical Compositional Visual Concepts

Irina Higgins, Nicolas Sonnerat+6 more|arXiv (Cornell University)|Jul 11, 2017

Genomics and Phylogenetic Studies参考文献 16被引用数 18

ひとこと要約

SCANは、beta-VAEから得られる分離された視覚的表現と記号を関連付けることで、抽象的で階層的かつ構成的な視覚的概念を学習するフレームワークです。記号と画像の間で双方向生成が可能であり、概念の記号的操作が可能で、最小限のペairedデータで新しい概念の発見が可能になります。

ABSTRACT

The natural world is infinitely diverse, yet this diversity arises from a relatively small set of coherent properties and rules, such as the laws of physics or chemistry. We conjecture that biological intelligent systems are able to survive within their diverse environments by discovering the regularities that arise from these rules primarily through unsupervised experiences, and representing this knowledge as abstract concepts. Such representations possess useful properties of compositionality and hierarchical organisation, which allow intelligent agents to recombine a finite set of conceptual building blocks into an exponentially large set of useful new concepts. This paper describes SCAN (Symbol-Concept Association Network), a new framework for learning such concepts in the visual domain. We first use the previously published beta-VAE (Higgins et al., 2017a) architecture to learn a disentangled representation of the latent structure of the visual world, before training SCAN to extract abstract concepts grounded in such disentangled visual primitives through fast symbol association. Our approach requires very few pairings between symbols and images and makes no assumptions about the choice of symbol representations. Once trained, SCAN is capable of multimodal bi-directional inference, generating a diverse set of image samples from symbolic descriptions and vice versa. It also allows for traversal and manipulation of the implicit hierarchy of compositional visual concepts through symbolic instructions and learnt logical recombination operations. Such manipulations enable SCAN to invent and learn novel visual concepts through recombination of the few learnt concepts.

研究の動機と目的

• 知能エージェントが教師なしの視覚的経験から抽象的で構成的な視覚的概念を発見し表現できる仕組みをモデル化すること。
• 最小限のペairedデータで分離された視覚的表現を学習し、それらを記号的概念に固定化するフレームワークを開発すること。
• 学習された記号-概念関連機構を用いて、記号と画像の間でマルチモーダルかつ双方向推論を可能にすること。
• 視覚的概念の階層的構造をたどったり論理的に再結合したりすることで、新しい概念の生成を可能にすること。
• 学習された概念の記号的操作によって、追加の訓練なしに新しい意味のある視覚的概念が得られることを示すこと。

提案手法

• まず、視覚的データの分離された潜在表現を学習するためにbeta-VAEを適用し、背後にある変動要因を分離する。
• 記号をこれらの分離された視覚的プリミティブにマッピングするための記号-概念関連ネットワーク（SCAN）を訓練するが、記号形式に関する仮定は設けない。
• 少量のペアド記号-画像例を用いて、視覚特徴との間で高速かつエンドツーエンドの記号関連を学習する。
• 双方向生成を可能にする：記号的記述から画像を生成し、画像から記号を再構築する。
• 論理的再結合や走査といった記号的操作を実装し、視覚的概念の暗黙的な階層的構造を探る。
• 既知の記号とそれらに関連する視覚的プリミティブを再結合することで、ゼロショットでの新しい視覚的概念の発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルは、教師なしの視覚的データと少量の記号-画像ペアから、抽象的で構成的な視覚的概念を学習できるか？
• RQ2 学習された概念の記号的操作によって、どれほど新しい意味のある視覚的概念を生成できるか？
• RQ3 記号と画像の間で双方向生成を行う際、モデルの性能はどの程度か？
• RQ4 モデルは、記号的指示を用いて視覚的概念の階層的構造をたどったり操作したりできるか？
• RQ5 分離された表現は、より解釈可能で一般化可能な概念学習を可能にするか？

主な発見

• SCANは、わずかな記号-画像ペアのみを用いて、記号と画像の間で効果的な双方向生成を実現し、優れたゼロショット一般化性能を示している。
• モデルは、訓練中に見られなかった新しい組み合わせに対しても、多様で意味的に意味のある画像サンプルを記号的記述から効果的に生成できた。
• 論理的再結合による記号的操作により、訓練中に見られなかった新しい視覚的概念が発見された。
• beta-VAEによって学習された分離された表現は、視覚的概念の合成と推論の強固な基盤を提供した。
• SCANは視覚的概念の階層的走査を可能にし、記号的指示を用いて概念空間を体系的に探索できる。
• このフレームワークは記号表現に関する仮定を必要としないため、柔軟でさまざまな記号タイプに適用可能である。