[論文レビュー] SCAN: Learning Hierarchical Compositional Visual Concepts

Irina Higgins, Nicolas Sonnerat+8 more|arXiv (Cornell University)|Jul 11, 2017

Genomics and Phylogenetic Studies参考文献 25被引用数 57

ひとこと要約

SCANは、離散化されたプリミティブに基づく階層的で構成的な視覚概念を、少数の記号-画像ペアを用いて学習し、訓練データを超えた双方向および再構成的なマルチモーダル推論を可能にする。

ABSTRACT

The seemingly infinite diversity of the natural world arises from a relatively small set of coherent rules, such as the laws of physics or chemistry. We conjecture that these rules give rise to regularities that can be discovered through primarily unsupervised experiences and represented as abstract concepts. If such representations are compositional and hierarchical, they can be recombined into an exponentially large set of new concepts. This paper describes SCAN (Symbol-Concept Association Network), a new framework for learning such abstractions in the visual domain. SCAN learns concepts through fast symbol association, grounding them in disentangled visual primitives that are discovered in an unsupervised manner. Unlike state of the art multimodal generative model baselines, our approach requires very few pairings between symbols and images and makes no assumptions about the form of symbol representations. Once trained, SCAN is capable of multimodal bi-directional inference, generating a diverse set of image samples from symbolic descriptions and vice versa. It also allows for traversal and manipulation of the implicit hierarchy of visual concepts through symbolic instructions and learnt logical recombination operations. Such manipulations enable SCAN to break away from its training data distribution and imagine novel visual concepts through symbolically instructed recombination of previously learnt concepts.

研究の動機と目的

• 無監督の分離表現を用いて、抽象的で構成的な視覚概念を学習するフレームワークを示す。
• 記号エンコードに関する厳密な前提を置かず、小さな記号-画像ペアの集合に概念をグラウンドする。
• 多様な出力を伴う、画像と記号間の双方向推論（img2sym および sym2img）を有効にする。
• 概念階層を可視化・拡張するための再結合演算子（AND、IN COMMON、IGNORE）を導入する。
• データサンプル効率と、訓練データを超えた新規概念への外挿能力を示す。

提案手法

• SCANでグラウンド可能な離散化視覚プリミティブを学習するために、DAEベースの高次特徴空間を持つbeta-VAEを用いる。
• 視覚プリミティブ空間と概念空間の間の前向きKLを最小化してSCAN概念をグラウンドし、無関係な要因を事前分布として保持する。
• 概念を関連要因の部分集合として表現し、階層的抽象化とシンボリックなグラウンドを可能にする。
• AND、IN COMMON、IGNORE の演算子の下で二つの概念をブレンドして新しい概念ノードを生成する再結合モジュール（条件付き畳み込み）を訓練する。
• 双方向推論を許可する：sym2img（記号から画像を生成）と img2sym（画像を記号で記述）。
• DeepMind Labデータと保持外の概念で評価し、精度（img2sym）と多様性（無関係な要因の分散）を測定する。

実験結果

リサーチクエスチョン

• RQ1 SCANは、限られた記号-画像監視から grounded, hierarchical conceptsを学習できるか？
• RQ2 前向きKLグラウンディングされた抽象化は、多様で正確なsym2imgおよびimg2sym推論を可能にするか？
• RQ3 学習された再結合演算子は、暗黙の概念階層を新規概念へ案内・拡張できるか？
• RQ4 特に unseen concepts に対して、SCANはベースラインと比較して精度と多様性の点でどうか？
• RQ5 テスト時に概念を再結合してもSCANの性能は維持されるか？

主な発見

• SCANはsym2img生成とimg2sym記述において、ベースラインよりも精度と多様性で上回る。
• 分離された視覚プリミティブが概念空間をグラウンドし、前向きKLグラウンディングは関連しない要因に対する広範な抽象化を可能にする。
• 再結合演算子は訓練時に見られなかった新規概念へ到達でき、精度と多様性を維持する。
• SCANは再結合モジュールを備えた状態でテスト演算子に対して性能を維持し、ベースラインとは異なる。
• 部分的な分離度合い（beta）は精度と多様性の両方に影響を与え、一般に高い分離度が両方を改善する傾向にある。
• JMVAEはSCANに最も近いが、SCANの構造化潜在空間なしにはモード崩壊が起こりやすい。