[論文レビュー] Learning like humans with Deep Symbolic Networks

Qunzhi Zhang, Didier Sornette|arXiv (Cornell University)|Jul 11, 2017

Neural Networks and Applications参考文献 6被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）のブラックボックス性に代わる白箱型の代替手法として、深層記号的ネットワーク（DSN）を提案する。DSNは、物理的物質の粗粒化と特異点を介してデータから学習される人間のような記号と関係性を、階層的な記号的構造として世界をモデル化する。このモデルは、小規模データでも透明性・因果的推論・一般化が可能で、教師なし学習と知識の蓄積をサポートする。

ABSTRACT

We introduce the Deep Symbolic Network (DSN) model, which aims at becoming the white-box version of Deep Neural Networks (DNN). The DSN model provides a simple, universal yet powerful structure, similar to DNN, to represent any knowledge of the world, which is transparent to humans. The conjecture behind the DSN model is that any type of real world objects sharing enough common features are mapped into human brains as a symbol. Those symbols are connected by links, representing the composition, correlation, causality, or other relationships between them, forming a deep, hierarchical symbolic network structure. Powered by such a structure, the DSN model is expected to learn like humans, because of its unique characteristics. First, it is universal, using the same structure to store any knowledge. Second, it can learn symbols from the world and construct the deep symbolic networks automatically, by utilizing the fact that real world objects have been naturally separated by singularities. Third, it is symbolic, with the capacity of performing causal deduction and generalization. Fourth, the symbols and the links between them are transparent to us, and thus we will know what it has learned or not - which is the key for the security of an AI system. Fifth, its transparency enables it to learn with relatively small data. Sixth, its knowledge can be accumulated. Last but not least, it is more friendly to unsupervised learning than DNN. We present the details of the model, the algorithm powering its automatic learning ability, and describe its usefulness in different use cases. The purpose of this paper is to generate broad interest to develop it within an open source project centered on the Deep Symbolic Network (DSN) model towards the development of general AI.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）のブラックボックス性に対処するため、解釈可能で透明な白箱型の代替手法を提案すること。
• 物理的物質の粗粒化を通じて形成される階層的記号的構造として、人間のような記号的認知をモデル化すること。
• 普遍的で透明かつ学習可能な記号的アーキテクチャを用いて、一般化されたAIを実現すること。このアーキテクチャは因果的推論、一般化、知識の蓄積をサポートする。
• 教師なし学習に inherently 友好的で、最小限のラベル付きデータで動作する学習フレームワークを開発すること。
• DSNフレームワークを通じて一般人工知能の発展を促進するオープンソースイニシャチブを提唱すること。

提案手法

• DSNモデルは、各記号 $ f_{n,i}(x) $ が層 $ n $ におけるインデックス $ i $ の粗粒度の物理的対象を表す、再帰的かつ階層的な記号ネットワークとして知識を表現する。
• 記号はデータ内の特異点を介して特定され、ラベルなしで自然に異なる対象を分離し、事前ラベルなしの記号辞書を形成する。
• 生成関数（式2）を用いて、学習されたパラメータとノイズ項を伴う基本関数の重み付き和として対象を表現する。
• 教師なし学習は、ノイズを考慮したクラスタリングとエッジのぼかしを用いて、しきい値 $ λ_i $ と $ μ_i $ を最適化することで実現され、耐性性が向上する。
• 教師あり学習は、目的関数によるしきい値最適化、または参考文献[7]の手法を用いて生成関数を直接学習することで可能になる。
• 記号的リンクは、構成、因果関係、継承、抽象化などの関係を表し、構造的かつ解釈可能な知識グラフを形成する。

実験結果

リサーチクエスチョン

• RQ1 特異点による自然な対象の分離のみを用いて、生データから深く階層的な記号的ネットワークを構築できるか？
• RQ2 このようなネットワークは、透明性と解釈可能性を保ちながら、人間のような学習、一般化、因果的推論を達成できるか？
• RQ3 標準的なDNNと比較して、DSNモデルは小規模またはラベルなしデータセットにおいてどれほど効果的に学習できるか？
• RQ4 しきい値 $ λ_i $ と $ μ_i $ のわずかな変化に強く、記号数が安定したパラメータ領域が存在するか？
• RQ5 DSNモデルは、タスク間で知識を蓄積でき、明示的な記号的表現を通じてベイズ意思決定を支援できるか？

主な発見

• DSNモデルは、特異点とノイズを考慮したクラスタリングを用いて、教師なし学習によりMNIST手書き数字の根本的な視覚的構成要素（例：直線、曲線、円）を効果的に同定した。
• しきい値 $ λ_i $ と $ μ_i $ のさまざまな値においても、記号の検出が安定しており、ハイパーパramータチューニングへの耐性が示された。
• エッジに基づく記号（例：円を輪に変換）をぼかすことで、ノイズ下でも一致精度が向上し、不完全なデータへの有効な対処が示された。
• DSNフレームワークは教師なし記号発見をサポートでき、しきい値の最適化や生成関数の直接学習により教師あり学習に拡張可能である。
• モデルの透明性により、学習済みの記号とリンクを完全に検査可能であり、知識と推論プロセスの検証が可能である。
• DSNモデルは、記号とその関係が明示的に格納され解釈可能であるため、因果的推論と知識の蓄積に inherently 適している。