[論文レビュー] Yet another zeta function and learning

Igor Rivin|ArXiv.org|Jul 25, 2001

Machine Learning and Algorithms参考文献 5被引用数 3

ひとこと要約

本稿は、概念獲得の確率的モデルにおけるバッチ学習アルゴリズムの収束速度を分析し、学習ダイナミクスを特徴付けるために新規のモーメントゼータ関数を導入する。バッチ学習が漸近的にメモリレス学習を上回り、重複分布の尾部挙動に応じてフルメモリ学習と同等またはそれを上回ることを示し、密度が1に近い部分で正の指数を伴うべきべき乗則の減衰を示す場合には、収束が非線形以下になることを明らかにする。

ABSTRACT

We study the convergence speed of the batch learning algorithm, and compare its speed to that of the memoryless learning algorithm and of learning with memory (as analyzed in joint work with N. Komarova). We obtain precise results and show in particular that the batch learning algorithm is never worse than the memoryless learning algorithm (at least asymptotically). Its performance vis-a-vis learning with full memory is less clearcut, and depends on certainprobabilistic assumptions. These results necessitate theintroduction of the moment zeta function of a probability distribution and the study of some of its properties.

研究の動機と目的

• 概念-語の重複に関する確率的仮定の下で、バッチ学習アルゴリズムの収束速度を分析すること。
• 収束速度の観点から、バッチ学習の性能をメモリレス学習およびフルメモリ学習アルゴリズムと比較すること。
• 確率分布のモーメントゼータ関数を導入し、学習ダイナミクスの分析に用いるための研究を行うこと。
• バッチ学習が概念数 n に対して非線形収束を達成する条件を特定すること。
• 重複分布の尾部挙動に応じた学習時間の漸近的挙動を明確にすること。

提案手法

• 概念学習を、語が分布 F から独立同一に抽出された確率で概念を指す確率的過程としてモデル化する。
• バッチ学習アルゴリズムを、連続する語の概念リストの共通部分集合を繰り返し求めるプロセスとして定義する。
• 収束速度の分析に用いるために、モーメントゼータ関数 ζ_F(n) = E[∑_{j=1}^n (1 - p_j)^{-1} - 1] を導入する。
• f(1−x) の x=0 近傍における尾部挙動に応じたゼータ関数の漸近的解析を実施する。
• 積分近似およびラプラス法を用いて、期待学習時間 N_Δ の推定を行う。
• 生存確率 1−Δ の減衰速度を n および β の関数として分析することで、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 同じ確率的仮定のもとで、バッチ学習アルゴリズムの収束速度は、メモリレス学習およびフルメモリ学習と比べてどのように異なるか？
• RQ2 重複分布 f(1−x) の x=0 近傍における局所的解析的挙動は、学習時間にどのように寄与するか？
• RQ3 バッチ学習が n に対して非線形収束を達成する条件は何か？
• RQ4 モーメントゼータ関数は、バッチモデルにおける期待学習時間とどのように関係するか？
• RQ5 重複密度が指数 β に対してべき乗則の減衰を示す場合、学習時間の漸近的挙動は何か？

主な発見

• 重複密度 f(1−x) が x=0 近傍で c + O(x^δ) のように振る舞う場合（δ,c>0）、バッチ学習は N_Δ = |log Δ| Θ(n) を達成し、線形性能と一致する。
• f(1−x) ∼ x^β + O(x^{β−δ}) と漸近する場合（β>0）、N_Δ = |log Δ| Θ(n^{1/(1+β)}) となり、非線形収束が示される。
• f(1−x) ∼ x^β と漸近する場合（−1/2 < β < 0）、N_Δ = |log Δ| Θ(n^{1/(1+β)}) となり、線形より遅い収束が示される。
• β ≥ 0 の場合、バッチ学習はメモリレス学習を一貫して上回り、分布の仮定に応じてフルメモリ学習を上回ることも可能である。
• β < 0 の場合、バッチ学習はメモリレス学習と同等の性能を示し、フルメモリ学習より劣る。
• モーメントゼータ関数は、さまざまな尾部挙動下での学習時間の漸近的挙動を特徴付けるための重要な分析的ツールを提供する。