[論文レビュー] Understanding understanding: a renormalization group inspired model of (artificial) intelligence

Antal Jakovác, D. Berenyi+1 more|arXiv (Cornell University)|Oct 26, 2020

Cognitive Science and Education Research参考文献 1被引用数 4

ひとこと要約

本論文は、情報の再編成を通じて理解を定義する、リノルマリゼーション群にインspiredされたフレームワークを提案する。このフレームワークは、関連する（決定論的）パラメータと、関係のない（一様分布）パラメータを区別する。科学的および人工知能分野における理解を、関連性の尺度を用いて形式化することで、誤差を伴う圧縮が可能になり、パターン認識と真の理解の違いが明確化される。

ABSTRACT

This paper is about the meaning of understanding in scientific and in artificial intelligent systems. We give a mathematical definition of the understanding, where, contrary to the common wisdom, we define the probability space on the input set, and we treat the transformation made by an intelligent actor not as a loss of information, but instead a reorganization of the information in the framework of a new coordinate system. We introduce, following the ideas of physical renormalization group, the notions of relevant and irrelevant parameters, and discuss, how the different AI tasks can be interpreted along these concepts, and how the process of learning can be described. We show, how scientific understanding fits into this framework, and demonstrate, what is the difference between a scientific task and pattern recognition. We also introduce a measure of relevance, which is useful for performing lossy compression.

研究の動機と目的

• 情報再編成に基づく数学的枠組みを用いて、人工知能および自然科学研究における理解の概念を形式化すること。
• 個々のパラメータが解釈不能になるような複雑なシステムにおいて、従来の科学的およびAI手法の限界を克服すること。
• 予測性能を保持しつつ、誤差を伴うデータ圧縮を可能にする関連性の尺度を導入すること。
• 座標系変換の観点から、パターン認識と真の科学的理解の違いを明確化すること。
• 時間依存系における学習が、関連性の尺度とリノルマリゼーション群の原則を用いてどのように構造化できるかを示すこと。

提案手法

• 入力データを新しい座標系に変換することで理解を定義し、情報が失われるのではなく再編成されることを強調する。
• 関連するパラメータと関係のないパラメータの概念を導入する：関連する座標は部分集合上で決定論的値をとり、関係のないものはその定義域全体で一様分布する。
• 測定精度または空間的／時間的平均化を表すパラメータkを用い、kスケールにおける座標の挙動を通じて関連性を定義する。
• スケールの変化に伴い座標が関連するから関係のないものに移行する様子をリノルマリゼーション群の走行により追跡し、関連性の臨界点を同定する。
• 座標が統計的に無関係になるk値に基づく関連性の尺度を構築し、誤差を伴う圧縮を可能にする。
• 複数の非交差部分集合への拡張を実施し、関連／非関連座標の検査により分類、回帰、復号化タスクへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人工知能および自然科学研究における理解は、単なるパターン認識を越えて、どのように形式的に定義できるか？
• RQ2 システムの記述において、関連するパラメータと関係のないパラメータを区別する数学的基準は何か？
• RQ3 複雑なデータの効果的な誤差を伴う圧縮を可能にするために、関連性の尺度をどのように構築できるか？
• RQ4 リノルマリゼーション群フレームワークは、深層学習や複雑なシミュレーションにおける解釈不能性の問題をどのように解決するか？
• RQ5 このフレームワークは、データ駆動型モデルにおける表面的相関と科学的理解の違いをどのように区別するか？

主な発見

• 理解は、関連するパラメータが決定論的であり、関係のないものがその定義域全体で一様分布するような座標系の選択として再定義される。
• フレームワークは、あるスケールで無関係になる座標を特定することで誤差を伴う圧縮を可能にし、関連性の尺度はk依存測定から導出される。
• 科学的理解とパターン認識の違いは形式化される：科学的理解とは、個別に名前を付けられ、個別に研究可能な解釈可能な関連効果を含む。
• 多くの関連および非関連座標を含むシステムでは、個々のパラメータは意味を失い、集団的挙動のみが記述的になる——これは深層ニューラルネットワークの挙動と一致する。
• 一部の予測が失敗する理由が説明される：見かけ上のランダムネスは、誤って無関係と分類された、しかし実際には関連性のある隠れたパラメータの欠落に起因する可能性がある。
• フレームワークは、関連／非関連座標の直接的検査により、分類、回帰、圧縮、復号化というすべての標準的AIタスクをサポートする。