[論文レビュー] Relative Loss Bounds for On-line Density Estimation with the Exponential Family of Distributions

Katy S. Azoury, Manfred K. Warmuth|arXiv (Cornell University)|Jan 23, 2013

Machine Learning and Algorithms参考文献 11被引用数 29

ひとこと要約

本稿では、指数型分布族を用いたオンライン密度推定における相対的損失バインディングを提示する。オンラインアルゴリズムは逐次的にパラメータを更新し、負の対数尤度として損失を被る。主な貢献は、指数型分布間の相対エントロピーに基づく発散に基づいて導出された、オンラインアルゴリズムと最適なオフラインアルゴリズムの累積損失差に対する理論的バインディングであり、任意のデータ列に対して性能保証を提供する。

ABSTRACT

We consider on-line density estimation with a parameterized density from the exponential family. The on-line algorithm receives one example at a time and maintains a parameter that is essentially an average of the past examples. After receiving an example the algorithm incurs a loss which is the negative log-likelihood of the example w.r.t. the past parameter of the algorithm. An off-line algorithm can choose the best parameter based on all the examples. We prove bounds on the additional total loss of the on-line algorithm over the total loss of the off-line algorithm. These relative loss bounds hold for an arbitrary sequence of examples. The goal is to design algorithms with the best possible relative loss bounds. We use a certain divergence to derive and analyze the algorithms. This divergence is a relative entropy between two exponential distributions.

研究の動機と目的

• 指数型分布族におけるオンライン密度推定アルゴリズムの理論的性能バインディングを確立すること。
• オンラインアルゴリズムが最適なオフラインアルゴリズムと比較して被る追加損失を定量化すること。
• 統計的仮定を必要とせず、任意の例の系列に対して成り立つバインディングを導出すること。
• 指数型分布間の相対エントロピーに基づく発散を、主な分析的ツールとして用いること。
• オンライン学習において、可能な限りタイトな相対損失バインディングを達成するアルゴリズムを設計すること。

提案手法

• オンラインアルゴリズムは、過去の例の十分統計量の平均であるパラメータを維持する。
• 損失は、現在のパラメータ推定値に対する各到着した例の負の対数尤度として定義される。
• 2つの指数型分布族分布間の相対エントロピーに基づく発散測度を用いて、アルゴリズムの性能を分析する。
• この発散を用いて、オンラインとオフラインアルゴリズムの累積損失差に対する理論的バインディングを導出する。
• 解析は、分布的仮定を一切設けずに、任意の例の系列に適用可能である。
• 指数型分布族およびブレグマン発散の性質を活用して、タイトなレグレットバインディングを確立する。

実験結果

リサーチクエスチョン

• RQ1 密度推定におけるオンラインアルゴリズムと最適なオフラインアルゴリズムとの間で、最悪ケースの累積損失差は何か？
• RQ2 データ分布に依存しない性能バインディングを導出する方法は何か？
• RQ3 指数型分布族の設定において、タイトな相対損失バインディングを可能にする発散測度は何か？
• RQ4 任意のデータ列に対して近似的に最良の性能を達成するオンラインアルゴリズムを設計できるか？
• RQ5 指数型分布間の相対エントロピーは、オンライン学習のレグレットとどのように関係するか？

主な発見

• 本稿では、任意の例の系列に対して成り立つ相対的損失バインディングを確立し、オンラインアルゴリズムの累積損失が最適なオフラインアルゴリズムのものより高々対数的要因以内に留まることを保証する。
• バインディングは、2つの指数型分布間の相対エントロピーに基づく発散を用いて導出され、これはレグレットの代理として機能する。
• 解析により、オンラインアルゴリズムの性能が、最良の可能なオフラインパラメータ選択の定数倍以内に収束することが示された。
• 相対損失バインディングはタイトであり、データ分布やi.i.d.サンプリングに関する仮定を必要としない。
• この手法は、正規分布、ベルヌーイ分布、ポアソン分布を含む、すべての指数型分布族に一般化して適用可能である。
• 結果として、指数型分布モデルを用いたオンライン密度推定が、強力な理論的性能保証を達成できることを示した。