[論文レビュー] Mathematics of learning

Natalia L. Komarova, Igor Rivin|ArXiv.org|May 29, 2001

Stochastic processes and statistical mechanics参考文献 9被引用数 5

ひとこと要約

本稿は、概念習得におけるメモリレスおよびフルメモリ学習アルゴリズムの収束速度を分析し、ランダムな遷移行列の主固有値と関連付けてその性能を解明する。収束速度は、概念間の重複密度の分布に強く依存しており、ランダム多項式の根と調和平均の推定を用いて漸近的スケーリング則が導出される。

ABSTRACT

We study the convergence properties of a pair of learning algorithms (learning with and without memory). This leads us to study the dominant eigenvalue of a class of random matrices. This turns out to be related to the roots of the derivative of random polynomials (generated by picking their roots uniformly at random in the interval [0, 1], although our results extend to other distributions). This, in turn, requires the study of the statistical behavior of the harmonic mean of random variables as above, which leads us to delicate question of the rate of convergence to stable laws and tail estimates for stable laws. The reader can find the proofs of most of the results announced here in the paper entitled "Harmonic mean, random polynomials, and random matrices", by the same authors.

研究の動機と目的

• メモリレスおよびフルメモリ学習アルゴリズムの概念習得モデルにおける収束速度を理解すること。
• ランダムな概念重複を伴う学習ダイナミクスから生じるランダム遷移行列のスペクトル特性を分析すること。
• 遷移行列の第二固有値と、[0,1]に一様に分布する根を持つランダム多項式の微分の最小根との関係を特定すること。
• 重複分布の尾挙動に応じて、高信頼度での学習を達成するまでのステップ数の漸近的スケーリング則を導出すること。
• 異なる重複分布下でのメモリレス対フルメモリ学習戦略の効率性を比較すること。

提案手法

• 概念間のランダムな類似度重複に基づいて導出される遷移行列を用いたマーカフ過程として学習をモデル化する。
• 収束速度を決定するため、遷移行列の主固有値とスペクトルギャップを分析する。
• 遷移行列の特性多項式と、[0,1]に一様に分布する根を持つランダム多項式の微分との間の数学的関係を確立する。
• ランダム多項式の微分の最小根が、遷移行列の第二固有値に一致することを示す。
• 極値理論および安定分布理論を用いて、重複密度を表す確率変数の調和平均を分析する。
• 大偏差推定および安定分布の尾挙動解析を用いて、学習プロセスの収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 メモリレス学習アルゴリズムの収束速度は、概念数および概念重複の分布にどのように依存するか？
• RQ2 重複密度関数が1に近い領域での尾挙動が学習速度に与える影響は何か？
• RQ3 期待収束時間の観点から、フルメモリ学習はメモリレス学習と比べてどの程度効率的か？
• RQ4 遷移行列のスペクトルギャップとランダム多項式の微分の根との間にはどのような関係があるか？
• RQ5 重複の調和平均の極値および安定分布の性質が、学習時間分布にどのように影響を与えるか？

主な発見

• 重複が一様分布に従う場合、$1-\triangle$ の信頼度に到達するためのステップ数 $N_{\triangle}$ は、メモリレス学習で $|\text{log} \triangle| n \log n$、フルメモリ学習で $(1-\triangle)^2 n \log n$ に比例する。
• 重複密度が $x^\beta$ のように $1$ に近い領域で振る舞い、$\beta > 0$ の場合、収束はメモリレス学習で $|\text{log} \triangle| n$、フルメモリ学習で $(1-\triangle)^2 n$ に比例する。
• 重い尾を持つ重複密度（$-1 < \beta < 0$）の場合、収束時間はメモリレス学習で $|\text{log} \triangle| n^{1/(1+\beta)}$、フルメモリ学習でも同様に比例する。
• フルメモリ学習の期待時間は、漸近的にメモリレス学習よりも一定の係数分だけ速く、$\triangle$ が小さい場合その係数は $|\text{log} \triangle|$ に比例する。
• 解析により、遷移行列の第二固有値が、[0,1]に根を持つランダム多項式の微分の最小根によって決定されることが明らかになった。
• 正確な漸近定数は導出可能であるが、収束が遅い（対数的）ため、正確な境界の実用的有用性は制限される。