[論文レビュー] Online Gradient Descent in Function Space

Changbo Zhu, Huan Xu|arXiv (Cornell University)|Dec 8, 2015

Advanced Bandit Algorithms Research参考文献 19被引用数 5

ひとこと要約

この論文は、無限次元のドメインにおける確率的変数や確率密度関数を含む最適化問題を解くために、オンライン勾配降下法をヒルバート空間（関数空間）へ拡張する。収束保証を確立し、機械学習およびオペレーションズ・リサーチ分野の主要な問題への適用を示している。

ABSTRACT

In many problems in machine learning and operations research, we need to optimize a function whose input is a random variable or a probability density function, i.e. to solve optimization problems in an infinite dimensional space. On the other hand, online learning has the advantage of dealing with streaming examples, and better model a changing environ- ment. In this paper, we extend the celebrated online gradient descent algorithm to Hilbert spaces (function spaces), and analyze the convergence guarantee of the algorithm. Finally, we demonstrate that our algorithms can be useful in several important problems.

研究の動機と目的

• 入力が確率的変数または確率密度関数である関数の最適化という、無限次元最適化を要請する課題に対処する。
• ストリーミングデータの処理や環境の変化への適応というオンライン学習の利点を、関数空間最適化に統合する。
• 収束解析を伴う理論的裏付けをもつ、ヒルバート空間におけるオンライン勾配降下法のアルゴリズムを開発する。
• 提案手法の実用的有用性を、実世界の機械学習およびオペレーションズ・リサーチの応用において示す。

提案手法

• 関数空間（例えば確率密度関数）をヒルバート空間の要素として扱うことで、最適化問題をヒルバート空間で定式化する。
• 関数勾配を用いて、この無限次元空間で直接動作するようにオンライン勾配降下法を適応させる。
• 更新中に制約を維持するために、ヒルバート空間内の許容領域への射影ステップを定義する。
• レプレセーター定理と再生核ヒルバート空間（RKHS）構造を用いて、関数勾配の実用的計算を可能にする。
• 弱い仮定のもとで収束を保証するように、動的ステップサイズを用いた部分勾配降下法を適用する。
• ヒルバート空間の内積構造を活用して、関数空間における方向微分と更新則を計算する。

実験結果

リサーチクエスチョン

• RQ1 オンライン勾配降下法は、特にヒルバート空間における関数空間へ一般化可能か？ これにより無限次元最適化問題を扱えるか？
• RQ2 ストリーミングおよび時間的に変化する条件下で、ヒルバート空間におけるオンライン勾配降下法にどのような収束保証を設定できるか？
• RQ3 ヒルバート空間設定下で、関数勾配をどのように効率的に計算・更新できるか？
• RQ4 提案手法は、関数空間最適化分野において、既存手法を上回るか、あるいは拡張する実世界の問題でどのように有効であるか？

主な発見

• 提示されたヒルバート空間におけるオンライン勾配降下法は、サブリグレットがサブ線形となることを示し、平均リグレットが時間とともに減少する意味で収束を示している。
• 損失関数が関数空間で凸であるという一般的な仮定のもとで、理論的収束性を維持している。
• 非定常環境に適した、確率密度関数および確率的変数に対する動的最適化を可能にする。
• カーネル法とRKHSを用いることで、実装が可能であり、関数的更新の効率的計算を可能にする。
• 実験的検証により、オンライン密度推定や分布上での確率的最適化といった問題において、本手法の有効性が示された。
• 収束速度は損失関数の滑らかさと関数空間の幾何構造に依存し、明示的な境界が導出された。