[論文レビュー] Tractable Generative Convolutional Arithmetic Circuits

Or Sharir, Ronen Tamari+2 more|arXiv (Cornell University)|Oct 13, 2016

Model Reduction and Neural Networks参考文献 20被引用数 6

ひとこと要約

この論文は、畳み込みニューラルネットワーク構造とテンソル解析を組み合わせることで、複雑な分布の効率的な周辺化と表現力のあるモデリングを可能にする、扱いやすい生成モデルであるテンソリアル混合モデル（TMMs）を紹介する。TMMsは欠損データ下での分類において最先端の性能を達成し、理論的な解釈可能性と実用的効果性の両方を兼ね備えている。

ABSTRACT

Casting neural networks in generative frameworks is a highly sought-after endeavor these days. Contemporary methods, such as Generative Adversarial Networks, capture some of the generative capabilities, but not all. In particular, they lack the ability of tractable marginalization, and thus are not suitable for many tasks. Other methods, based on arithmetic circuits and sum-product networks, do allow tractable marginalization, but their performance is challenged by the need to learn the structure of a circuit. Building on the tractability of arithmetic circuits, we leverage concepts from tensor analysis, and derive a family of generative models we call Tensorial Mixture Models (TMMs). TMMs assume a simple convolutional network structure, and in addition, lend themselves to theoretical analyses that allow comprehensive understanding of the relation between their structure and their expressive properties. We thus obtain a generative model that is tractable on one hand, and on the other hand, allows effective representation of rich distributions in an easily controlled manner. These two capabilities are brought together in the task of classification under missing data, where TMMs deliver state of the art accuracies with seamless implementation and design.

研究の動機と目的

• 扱いやすい推論と強力な表現能力を併せ持つ生成モデルの開発を目的とする。
• GAN やその他の深層生成モデルが周辺化を効率的に行えないという限界を克服することを目的とする。
• 学習可能な畳み込みアーキテクチャを通じて、構造的かつ解釈可能な複雑なデータ分布のモデリングを可能にすることを目的とする。
• 算術回路に基づく生成モデルの表現力と構造に関する理論的洞察を提供することを目的とする。
• 一貫性があり原理的な設計により、欠損データ下での分類において最先端の性能を達成することを目的とする。

提案手法

• 著者らは、構造的な畳み込みネットワーク設計を備えた算術回路に基づく、テンソリアル混合モデル（TMMs）の族を提案する。
• TMMsはテンソル解析を活用して混合成分をパラメータ化し、効率的かつスケーラブルな計算を可能にする。
• モデルは、和積ネットワークの原則に従い、扱いやすい周辺化を可能にする階層的で畳み込み構造を持つ。
• アーキテクチャは、エンドツーエンドの学習を可能にしつつ、算術回路の理論的保証を維持する。
• 畳み込み層からの構造的インダクティブバイアスを算術回路の扱いやすさと統合する。
• 理論的分析により、モデルのアーキテクチャとその表現力・推論効率との明確な関連が示される。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの表現力と算術回路の扱いやすさを統合した生成モデルをどのように設計できるか？
• RQ2 算術回路に基づくモデルにどのような構造的インダクティブバイアスを導入すれば、表現力と学習効率が向上するか？
• RQ3 テンソルベースのパラメータ化は、扱いやすい生成モデルのモデリング能力をどの程度向上させられるか？
• RQ4 扱いやすいモデルが欠損データ下での分類タスクで最先端の性能を達成できるか？
• RQ5 TMMsのアーキテクチャは、複雑なデータ分布をどの程度適切に表現できるか？

主な発見

• TMMsは欠損データ下の分類タスクで最先端の精度を達成し、既存手法を上回っている。
• 算術回路の基盤により、効率的かつ正確な周辺化が可能で、扱いやすい推論を支援する。
• TMMsの畳み込み構造により、データ内の空間的および階層的パターンの効果的な表現が可能である。
• 理論的分析により、モデルのアーキテクチャとその表現力との明確な関連が明らかになった。
• TMMsは、モデルの表現力、扱いやすさ、解釈可能性をバランスさせる統一的なフレームワークを提供する。
• TMMsの実装はシームレスであり、複雑なアーキテクチャの変更を必要としない。