[論文レビュー] Neurocompositional computing: From the Central Paradox of Cognition to a new generation of AI systems

Paul Smolensky, R. Thomas McCoy+3 more|arXiv (Cornell University)|May 2, 2022

Cognitive Science and Mapping被引用数 4

ひとこと要約

この論文は、構成性と連続性の原則を統合することで、頑健で解釈可能かつ一般化可能な知能を実現する新しいAIパラダイム「神経的構成的計算」を紹介する。テンソル積表現（TPRs）と呼ばれる形式的枠組みである神経的に符号化された構造的テンソル（NECST）計算を活用することで、より深い構成的一般化とモデルの解釈性が達成され、従来のディープラーニングシステムの主な限界を克服する。

ABSTRACT

What explains the dramatic progress from 20th-century to 21st-century AI, and how can the remaining limitations of current AI be overcome? The widely accepted narrative attributes this progress to massive increases in the quantity of computational and data resources available to support statistical learning in deep artificial neural networks. We show that an additional crucial factor is the development of a new type of computation. Neurocompositional computing adopts two principles that must be simultaneously respected to enable human-level cognition: the principles of Compositionality and Continuity. These have seemed irreconcilable until the recent mathematical discovery that compositionality can be realized not only through discrete methods of symbolic computing, but also through novel forms of continuous neural computing. The revolutionary recent progress in AI has resulted from the use of limited forms of neurocompositional computing. New, deeper forms of neurocompositional computing create AI systems that are more robust, accurate, and comprehensible.

研究の動機と目的

• 人間水準の知能が連続的な神経的プロセスからどのように生じるかという認知の中心的逆説——すなわち、連続的プロセスが維持される中で構成的構造を保つ——を解明し、その背後にある計算的枠組みとして神経的構成的計算を特定すること。
• 20世紀のAIおよび現在の21世紀のAIの限界が、構成性と連続性の両方の原則を同時に尊重しないアーキテクチャに起因することを診断すること。
• 最近のAIの進展が、限定的な形ではあるが神経的構成的計算の暗黙的出現に起因していることを示すこと。
• NECST形式的枠組みを通じて、神経的構成的計算のより深い実現を提唱し、より頑健で解釈可能なAIシステムを可能にすること。
• NECSTに基づくモデルが、構成的構造を連続的ベクトル表現に直接埋め込むことで、一般化、制御可能性、説明可能性の向上を実現する方法を示すこと。

提案手法

• 連続的ベクトル空間に構成的構造を埋め込むためにテンソル積表現（TPRs）を用い、離散的な記号的構造が連続的なニューラル活性に埋め込まれることを可能にする。
• TPRにおけるバインディングおよび順列操作を用いて、語句や文のような複雑で階層的な構造を表現し、新しい組み合わせに対する構成的一般化を可能にする。
• 神経的に符号化された構造的テンソル（NECST）形式的枠組みを導入し、明示的な構成的構造を伴う連続的ベクトル空間における構造的知識の体系的表現と処理を可能にする。
• TPRの分離表現を明示的に利用するように設計されたニューラルネットワークアーキテクチャを構築し、学習中に構成的一般化を促進する。
• 意味の適応を構造的文脈に応じて動的に変化させる最適化ベースの処理を実装し、推論と文脈感受性を向上させる。
• NECSTを自然言語処理タスクに適用し、内部表現に対する正確で解釈可能な修正を可能にし、ベクトル演算を通じて出力行動を直接制御することを可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的ニューラル計算が、どのように構成的構造と連続的処理を同時にサポートできるか。これは、記号的アプローチと接続主義的アプローチの間の長年の対立をどのように解消できるか。
• RQ2 現在のディープラーニングシステムが、どれほど神経的構成的計算を暗黙的に実装しているか。また、そのような実装が、既知の限界があるにもかかわらずそれらの成功をどのように説明できるか。
• RQ3 NECSTのような形式的枠組みが、標準的なディープラーニングと比較して、より深い構成的一般化と解釈可能性を実現できるか。
• RQ4 ニューラルネットワークは、どのように構成的構造を学習するのではなく、その表現に積極的に利用できるように構造化できるか。
• RQ5 文脈に応じた最適化駆動の意味適応が、AIシステムの頑健性と正確性を向上させる役割を果たすか。

主な発見

• TPRsおよびNECSTを介した神経的構成的計算により、AIシステムはベクトル演算を用いて内部表現に対して正確で解釈可能な修正が可能になり、たとえば意味ベクトルの加減算によって行動を変更できる。
• NECST形式的枠組みにより、ネストされたおよび階層的な構造（例：「解錠可能」）が連続的ベクトル表現に埋め込まれ、より豊かな構成的一般化が可能になる。
• TPRにおける内容と役割の明示的分離により、一般化と制御性が向上し、8語の命令を30語の出力に正確に変換するような複雑な入力を、逐次的なベクトル操作で処理できることを実証した。
• 内部表現の修正を通じて高い精度の行動制御が可能になる。たとえば、「jump twice」を「jump thrice」に変更するには、「twice」のベクトル表現を「thrice」のものに置き換えることで実現できる。
• NECSTに基づくモデルは、標準的なディープラーニングシステムの不透明性を軽減し、実世界の応用における制御可能性を向上させる点で、頑健性と解釈可能性が向上している。
• 将来の3G神経的構成的計算システムは、最適化ベースの処理、構造的ネスト、アーキテクチャ的バイアスを統合することで、構成的構造を完全に活用し、言語および推論分野における大きな進歩を実現する。