[論文レビュー] Solutions to problems with deep learning

J. Gerard Wolff|arXiv (Cornell University)|Jan 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 7

ひとこと要約

この論文は、データ過多、透明性の欠如、深刻な忘却、および推論能力の低さといったディープラーニングの主な限界を解決するため、知能のSP（構造・パターン）理論を提唱している。SP多重整合性を活用することで、SPシステムは一度の試行学習、階層的および非階層的知識表現、頑健な推論、および監査可能性を実現する。これは理論的根拠に基づき、人間の認知を模倣した代替的枠組みを提供し、人工一般知能（AGI）のより強い基盤を提供する。

ABSTRACT

Despite the several successes of deep learning systems, there are concerns about their limitations, discussed most recently by Gary Marcus. This paper discusses Marcus's concerns and some others, together with solutions to several of these problems provided by the "P theory of intelligence" and its realisation in the "SP computer model". The main advantages of the SP system are: relatively small requirements for data and the ability to learn from a single experience; the ability to model both hierarchical and non-hierarchical structures; strengths in several kinds of reasoning, including `commonsense' reasoning; transparency in the representation of knowledge, and the provision of an audit trail for all processing; the likelihood that the SP system could not be fooled into bizarre or eccentric recognition of stimuli, as deep learning systems can be; the SP system provides a robust solution to the problem of `catastrophic forgetting' in deep learning systems; the SP system provides a theoretically-coherent solution to the problems of correcting over- and under-generalisations in learning, and learning correct structures despite errors in data; unlike most research on deep learning, the SP programme of research draws extensively on research on human learning, perception, and cognition; and the SP programme of research has an overarching theory, supported by evidence, something that is largely missing from research on deep learning. In general, the SP system provides a much firmer foundation than deep learning for the development of artificial general intelligence.

研究の動機と目的

• ディープラーニングの深刻な限界、特に過剰なデータ要件、透明性の欠如、深刻な忘却への感受性を解決すること。
• ディープラーニングのアーキテクチャ的制約とは対照的に、階層的および非階層的知識表現の両方をサポートする統一されたフレームワークを提供すること。
• 知識表現を整合的な理論的構造に根拠を置くことで、頑健で解釈可能な推論（包括的推論を含む）を可能にすること。
• SP多重整合性による情報圧縮という単一の理論的枠組みの下で、多様な認知プロセスを統合することで、記号的AIと非記号的AIを橋渡しすること。
• ディープラーニングとは対照的に、実験的かつ認知的に根拠を持つ理論的基盤を提供し、人工一般知能（AGI）の基盤を築くこと。

提案手法

• 多様なパターンを圧縮・統合するためのコアメカニズムとしてSP多重整合性を活用し、複雑な構造の効率的学習と表現を可能にする。
• SPコンピュータモデルを実装し、最小限のデータからの人間らしい学習（一度の露出学習や段階的スキル習得を含む）をシミュレートする。
• SPシステムの透明な知識表現と監査トレースを活用して、すべての処理ステップの解釈可能性と追跡可能性を保証する。
• 認知心理学および神経科学の原則を活用し、抽象的知識構造が神経的実装にどのように対応するかをモデル化する。
• ヒューリスティック的または一時的な調整ではなく、SP理論に根拠を置いた理論的に整合性のあるメカニズムにより、過剰および過小一般化を是正する。
• 統計的相関ではなく、構造的一致性とパターン統合に依存することで、悪意のある誤分類に対する耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 人工知能システムは、何千もの例が必要ではなく、たった一度の露出から効果的に学習できるようになるか？
• RQ2 認知アーキテクチャは、統一されたフレームワーク内で階層的および非階層的知識構造の両方をどれほどサポートできるか？
• RQ3 新しい情報を学習する際、以前に習得した知識を保持し続けられるか。深刻な忘却を回避できるか？
• RQ4 統計的パターンに依存するのではなく、頑健で解釈可能な推論（包括的推論を含む）を実現できるか？
• RQ5 学習、知覚、認知を統合する単一の理論的原則に基づいて、認知モデルを構築できるか？

主な発見

• SPシステムは、ディープラーニングのデータ過多とは対照的に、一度の露出や少数の例から意味のある学習を可能にし、人間の一度の試行学習に類似した動作を示す。
• SPシステムは、SP多重整合性メカニズムにより、階層的および非階層的構造の両方を効果的に表現でき、ディープニューラルネットワークの主要な限界を克服している。
• SPシステムは、知識表現と処理の完全な透明性を提供し、監査トレースが完全に確保されている。これは、ディープラーニングモデルのブラックボックス性とは対照的である。
• SPシステムは、構造的一致性とパターン統合に依存するため、ディープラーニングで一般的な奇妙または奇抜な認識誤りを防ぐ高い耐性を示す。
• SPシステムは、新しい学習が既存の知識を上書きまたは破壊しないため、深刻な忘却を回避する。以前に習得した情報を保持している。
• SPシステムは、コア圧縮原理に根拠を置いた理論的に整合性のある仕組みにより、過剰および過小一般化の是正とノイズ混じりまたは誤ったデータからの学習を可能にする。