[論文レビュー] The Consciousness Prior

Yoshua Bengio|arXiv (Cornell University)|Sep 25, 2017

Topic Modeling参考文献 19被引用数 108

ひとこと要約

本論文は、意識のグローバルワークスペース理論に触発された学習事前分布を提案する。低次元の意識状態が広範な表現から高レベル変数のスパースな集合を選択し、予測・推論・言語様の知識共有を導く。

ABSTRACT

A new prior is proposed for learning representations of high-level concepts of the kind we manipulate with language. This prior can be combined with other priors in order to help disentangling abstract factors from each other. It is inspired by cognitive neuroscience theories of consciousness, seen as a bottleneck through which just a few elements, after having been selected by attention from a broader pool, are then broadcast and condition further processing, both in perception and decision-making. The set of recently selected elements one becomes aware of is seen as forming a low-dimensional conscious state. This conscious state is combining the few concepts constituting a conscious thought, i.e., what one is immediately conscious of at a particular moment. We claim that this architectural and information-processing constraint corresponds to assumptions about the joint distribution between high-level concepts. To the extent that these assumptions are generally true (and the form of natural language seems consistent with them), they can form a useful prior for representation learning. A low-dimensional thought or conscious state is analogous to a sentence: it involves only a few variables and yet can make a statement with very high probability of being true. This is consistent with a joint distribution (over high-level concepts) which has the form of a sparse factor graph, i.e., where the dependencies captured by each factor of the factor graph involve only very few variables while creating a strong dip in the overall energy function. The consciousness prior also makes it natural to map conscious states to natural language utterances or to express classical AI knowledge in a form similar to facts and rules, albeit capturing uncertainty as well as efficient search mechanisms implemented by attention mechanisms.

研究の動機と目的

• 意識的処理とグローバルワークスペース理論に触発された機械学習事前分布の動機付け。
• 低次元の意識状態 c_t が高レベル表現 h_t からどのように選択するかを定義する。
• 高レベル概念の結合分布を稀疎因子グラフがモデルすると主張する。
• 意識状態を言語様表現へ写像するトレーニング目的とメカニズムを提案する。

提案手法

• x_t を観測値、h_t を表現RNNが生成する高レベルの無意識表現として定義する（h_t = F(x_t, h_{t-1})）。
• h_t への注意を通じて導出される意識状態 c_t = C(h_t, c_{t-1}, m_{t-1}, z_t) を導入する。
• 高レベル概念の結合分布を稀疎因子グラフ P(S) = (∏ f_j(S_j)) / Z でモデル化する。
• 現在の表現と過去の意識内容の整合性を評価する検証器 V(h_t, c_{t-k}) を提案する。
• 注意が将来を予測したり入力を再構成したりする有用な要素を選択するトレーニング目的を記述し、情報量（ mutual information）や多様性項を用いる可能性がある。

実験結果

リサーチクエスチョン

• RQ1 スパースで注意駆動型の意識状態 c_t は、解離した高レベル表現を改善できるか。
• RQ2 意識状態を言語様の発話へ写像することは、解釈と学習を助けるか。
• RQ3 検証ネットワークは、意識内容と将来の状態の整合性を信頼性高く判断できるか。
• RQ4 有用で多様な関係付けられた要素を促すように、意識的注意目的はどう形作られるべきか。
• RQ5 意識的処理は、ピクセルレベルの予測を超えた計画立案、推論、長距離予測を強化できるか。

主な発見

• 意識的思考は、注意によって選択される高レベル変数のごく一部に対応する、という提案。
• 高レベル概念の結合分布の構造形として稀疎因子グラフを支持する。
• 意識状態は自然言語の発話に写像可能で、解釈可能な表現を可能にする。
• 再構成、予測、RL様の目的と整合性の検証器を組み合わせたトレーニングが可能であることを概説する。
• 言語様表現を通じた系統的一般化と組合的推論の潜在的利点を強調する。