[論文レビュー] On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence

Yi Ma, Doris Y. Tsao+1 more|arXiv (Cornell University)|Jul 11, 2022

Cell Image Analysis Techniques被引用数 7

ひとこと要約

本稿では、人工的および自然的システムにおける知能の出現のための基礎的原則として、Parsimony（単純性）とSelf-consistency（自己一貫性）を提案する。本稿は、フィードバックを介して判別モデルと生成モデルを統合する、一貫性のある計算可能なフレームワーク「圧縮型クローズド・ループトランスcription」を導入し、コンパクトで解釈可能な表現を用いて、効率的で安定的かつ自律的な学習を可能にする。

ABSTRACT

Ten years into the revival of deep networks and artificial intelligence, we propose a theoretical framework that sheds light on understanding deep networks within a bigger picture of Intelligence in general. We introduce two fundamental principles, Parsimony and Self-consistency, that address two fundamental questions regarding Intelligence: what to learn and how to learn, respectively. We believe the two principles are the cornerstones for the emergence of Intelligence, artificial or natural. While these two principles have rich classical roots, we argue that they can be stated anew in entirely measurable and computable ways. More specifically, the two principles lead to an effective and efficient computational framework, compressive closed-loop transcription, that unifies and explains the evolution of modern deep networks and many artificial intelligence practices. While we mainly use modeling of visual data as an example, we believe the two principles will unify understanding of broad families of autonomous intelligent systems and provide a framework for understanding the brain.

研究の動機と目的

• 現代の深層学習における原理的で統一的な設計の欠如に応えるために、知能を規定する根本的原則を同定すること。
• 情報理論および制御理論に基づく理論的枠組みを通じて、モデルの肥大化、脆弱性、解釈不能性といった現在のAI実務における非効率を是正すること。
• 教師なし環境下で自律的かつ自己是正的な学習を可能にする、判別モデルと生成モデルを統合した単一のクローズド・ループシステムを統合すること。
• 知能システムを構築するための計算可能で測定可能かつ実装可能なフレームワークを提供することにより、生物学的脳の効率性と適応性を模倣すること。

提案手法

• 情報理論および圧縮理論に裏打ちされた、表現サイズの最小化と本質的情報の保持を目的とするParsimonyの形式的定式化。
• モデルが内部表現から入力を再生成できるフィードバック機構としてのSelf-consistencyの形式的定式化。これにより一貫性と解釈可能性が保証される。
• 圧縮型クローズド・ループトランスcriptionの開発：エンコーダ $f(\cdot,\theta)$ がデータ $\bm{x}$ をコンパクトな表現 $\bm{z}$ に写像し、デコーダ $g(\cdot,\eta)$ が $\bm{z}$ から $\hat{\bm{x}}$ を再構築する二段階のシステム。$f$ と $g$ は互いに一貫性を持つように訓練される。
• フィードバックループを用いて自己一貫性を強制する：エンコーダは元のデータと再構築データを区別できないようにする。これにより誤り補正と安定した学習が可能になる。
• 視覚データモデリングへの応用を通じて、構造的でスパースかつモジュラーな表現が、この二つの原則から自然に出現することを示す。
• 神経科学（例：スパースコーディング、部分空間コーディング）および制御理論（例：クローズド・ループフィードバック）の知見を統合し、人工知能と生物的知能を統一的に扱う。

実験結果

リサーチクエスチョン

• RQ1 知能システムが何を学ぶべきかを原理的かつ測定可能な目的として定式化するにはどうすればよいか？
• RQ2 外部教師なし環境下で、効率的で安定的かつ適応的学習を可能にする計算的メカニズムは何か？
• RQ3 判別モデルと生成モデルを統合した単一の自己是正型システムを統一的フレームワークで実現できるか？
• RQ4 ParsimonyとSelf-consistencyは、深層ネットワークにおける構造的で解釈可能かつ頑健な表現をどのように生み出すか？
• RQ5 このフレームワークは、知覚および意思決定における生物学的脳の効率性と適応性をどの程度説明できるか？

主な発見

• 圧縮型クローズド・ループトランスcriptionのフレームワークは、判別モデルと生成モデルを統合した一貫性のある単一のシステムとして、現代の深層学習実務を統合する。
• 自己一貫性により、エンコーダが本物の入力と再構築入力を区別できないため、モデルの内部表現は頑健で解釈可能である。
• Parsimonyは、ニューラルコラプスを回避し、最終層でさえも豊富な特徴情報を保持するコンパクトで構造的な表現を生み出す。
• クローズド・ループアーキテクチャは、学習の安定性を向上させ、モード崩壊を緩和し、変形や敵対的攻撃に対しても耐性を高める。
• このフレームワークは、脳に観察される機能的モularityとスパースコーディングを自然に説明でき、人工知能と生物的知能の間で共通の原理を示唆する。
• 最近の研究（例：Dai et al., 2022）の実証的結果から、このアプローチは大規模エンドツーエンドモデルと同等の性能を示しつつ、リソース効率が高く、解釈可能で適応可能な学習を可能にすることが示された。