[論文レビュー] The Optimal Choice of Hypothesis Is the Weakest, Not the Shortest

Michael Timothy Bennett|arXiv (Cornell University)|Jan 30, 2023

Computability, Logic, AI Algorithms参考文献 21被引用数 14

ひとこと要約

この論文は、最も弱い仮説が、最短仮説（最小記述長）ではなく、形式的なエナクティブ認知フレームワークの下で一般化の確率を最大化する、という主張を展開する。弱さを代理指標として導入し、理論的にも実験的にも、子タスクから親タスクへ一般化する際、記述長より弱さが有利であることを示す。

ABSTRACT

If $A$ and $B$ are sets such that $A \subset B$, generalisation may be understood as the inference from $A$ of a hypothesis sufficient to construct $B$. One might infer any number of hypotheses from $A$, yet only some of those may generalise to $B$. How can one know which are likely to generalise? One strategy is to choose the shortest, equating the ability to compress information with the ability to generalise (a proxy for intelligence). We examine this in the context of a mathematical formalism of enactive cognition. We show that compression is neither necessary nor sufficient to maximise performance (measured in terms of the probability of a hypothesis generalising). We formulate a proxy unrelated to length or simplicity, called weakness. We show that if tasks are uniformly distributed, then there is no choice of proxy that performs at least as well as weakness maximisation in all tasks while performing strictly better in at least one. In experiments comparing maximum weakness and minimum description length in the context of binary arithmetic, the former generalised at between $1.1$ and $5$ times the rate of the latter. We argue this demonstrates that weakness is a far better proxy, and explains why Deepmind's Apperception Engine is able to generalise effectively.

研究の動機と目的

• エナクティブ認知内で、部分集合からより大きな集合への推論として一般化を動機づける。
• 短い記述（MDL）が最良の一般化の代理指標であるという標準見解に挑戦する。
• 一般化の確率を最大化する知性の代理指標として、weaknessを導入し形式化する。
• 一様タスク分布の下で一般化確率を最大化するためにweaknessが必要十分であることを理論的に証明する。
• 単純な8ビット文字列タスクにおいてweaknessと最小記述長を比較する実験的証拠を提供する。

提案手法

• 形式的枠組み: 環境を宣言的プログラムの集合として表現し、実装可能な言語とタスクを定義する。
• 一般化を、v-タスク格子内で子タスクから親タスクへ拡張する仮説として定義する。
• 知性の代理指標として2つを導入: weakness（拡張のサイズZ_l）と記述長(|l|)を、それらの数学的役割を説明する。
• 命題を証明する: weaknessは一般化確率を最大化するのに十分である（命題1）こと、必要である（命題2）こと; 記述長は必要でも十分でもない（命題3）。
• 実装可能言語仮説上の普遍的事前分布を提供し、 一様タスク分布を論じる。
• PyTorch/SymPyを用いて8ビットの2進加算/乗算タスクでweaknessとMDLを実験的に比較し、一般化率と平均的広がりを測定する。

実験結果

リサーチクエスチョン

• RQ1 一様タスク分布の下で、仮説が子タスクから親タスクへ一般化する確率をweaknessは最大化するか？
• RQ2 一般化の代理指標としてweaknessは必要な代理か、記述長は十分かつ必要か、という点。
• RQ3 単純な算術タスクの実験が、MDLと比較してweaknessを優れた一般化代理として支持するか？
• RQ4 結果は、DeepMindのApperception Engineなど特定のAIシステムがなぜよく一般化するのかを説明できるか？
• RQ5 実用設定におけるタスク語彙選択が弱さを介した帰納にどのように影響するか？

主な発見

• weaknessは、子タスクから親タスクへの帰納が一般化する確率を最大化する十分な代理指標である。
• 一様タスク分布の下で、一般化確率を最大化するにはweaknessが必要であり、記述長は必要でない。
• 8ビットの2進加算と乗算の実験は、weaknessがより高い一般化率（MDLの110-500%）、平均的な一般化範囲の拡大（103-156%）をもたらすことを示す。
• MDL（最小記述長）は一般化を最大化せず、検証された全タスク設定でweaknessに敗れることがある。
• 結果は、Apperception Engineのようなシステムにおける効果的な一般化を、弱くても妥当な仮説を選好することによって説明する。