[論文レビュー] Learning, complexity and information density

Joel Ratsaby|ArXiv.org|Aug 31, 2009

Machine Learning and Algorithms参考文献 5被引用数 4

ひとこと要約

本論文は、情報密度の代理指標である sysRatio で測定される機械学習者の複雑さが、その予測誤差のランダム性に与える影響を調査する。2値系列で学習されたマルコフモデル学習者を用いた研究では、sysRatio ≤ ρ* のとき、誤差系列がランダム性から低い乖離と低いアルゴリズム的複雑性の分散を示す臨界閾値 ρ* が存在することが明らかになった。ρ* を超えると、これらの特徴が急激に増加し、モデルの過剰な複雑さによってランダム性が損なわれることを示している。

ABSTRACT

What is the relationship between the complexity of a learner and the randomness of his mistakes? This question was posed in \cite{rat0903} who showed that the more complex the learner the higher the possibility that his mistakes deviate from a true random sequence. In the current paper we report on an empirical investigation of this problem. We investigate two characteristics of randomness, the stochastic and algorithmic complexity of the binary sequence of mistakes. A learner with a Markov model of order $k$ is trained on a finite binary sequence produced by a Markov source of order $k^{*}$ and is tested on a different random sequence. As a measure of learner's complexity we define a quantity called the \emph{sysRatio}, denoted by $ρ$, which is the ratio between the compressed and uncompressed lengths of the binary string whose $i^{th}$ bit represents the maximum \emph{a posteriori} decision made at state $i$ of the learner's model. The quantity $ρ$ is a measure of information density. The main result of the paper shows that this ratio is crucial in answering the above posed question. The result indicates that there is a critical threshold $ρ^{*}$ such that when $ρ\leqρ^{*}$ the sequence of mistakes possesses the following features: (1)\emph{}low divergence $Δ$ from a random sequence, (2) low variance in algorithmic complexity. When $ρ>ρ^{*}$, the characteristics of the mistake sequence changes sharply towards a\emph{}high\emph{$Δ$} and high variance in algorithmic complexity.

研究の動機と目的

• 学習者の複雑さと予測誤差のランダム性の関係を調査すること。
• 学習者の構造的複雑さが、その誤差系列の確率的性質に影響を与えるかどうかを特定すること。
• sysRatio を情報密度の測定指標として導入し、学習者の複雑さを捉えることの妥当性を検証すること。
• 学習者の誤差系列がランダム性から著しく逸脱するような閾値複雑度が存在するという仮説を実証的に検証すること。

提案手法

• 学習者は、順序 k* のマルコフ源によって生成されたテスト系列のビットを予測するために、順序 k のマルコフモデルを用いる。
• sysRatio ρ は、モデルの各状態における最大事後確率意思決定系列の圧縮長と非圧縮長の比として計算される。
• 標準的な近似法を用いて、誤差系列 ξ₀^(n) のアルゴリズム的複雑さ ℓ₀ と乖離 Δ₀ が推定される。
• 実験的分析では、k（モデル順序）を変化させることで ρ を変化させ、複数回の試行における ℓ₀ と Δ₀ の統計的性質を測定する。
• 閾値 ρ* は、ℓ₀ と Δ₀ の分散が急激に増加する点として特定され、誤差系列のランダム性における段階的転移を示している。
• 本研究では学習者のブラックボックス的視点を採用し、予測精度ではなく出力のランダム性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 sysRatio で測定される学習者の複雑さは、その予測誤差のランダム性にどのように影響を与えるか？
• RQ2 sysRatio に臨界閾値が存在し、それ以上になると誤差系列がランダム特性を失うか？
• RQ3 誤差系列のアルゴリズム的複雑さと乖離は、学習者の複雑さに応じてどの程度変動するか？
• RQ4 学習者のモデル順序とその意思決定ルールの情報密度（sysRatio）との間に構造的関係が存在するか？

主な発見

• sysRatio ρ ≤ ρ* のとき、誤差系列はランダム系列からの乖離 Δ₀ が小さく、アルゴリズム的複雑さの分散も小さい。
• ρ > ρ* のとき、誤差系列の乖離 Δ₀ とアルゴリズム的複雑さ ℓ₀ の分散が急激に増加し、ランダム性の喪失を示している。
• 閾値 ρ* は、真のマルコフ源のモデル順序 k* に一致しており、学習者の複雑さとデータソースの複雑さの構造的整合性を示している。
• モデル順序 k が k* を超えて増加すると、sysRatio ρ は増加するが、確率推定の決定論的要因が増加するため、意思決定ベクトル d のエントロピーは減少率が低下する。
• sysRatio ρ は情報密度の頑健な測定指標であり、モデル順序 k だけに依存する指標よりも、ランダム性の逸脱をより良い指標として示している。
• 結果は、より高い学習者の複雑さが入力のランダム性をより大きく歪めるという理論的予測を支持しており、ρ* で明確な段階的転移が観察される。