[論文レビュー] Near-Optimal Algorithms for Online Matrix Prediction

Elad Hazan, Satyen Kale+1 more|arXiv (Cornell University)|Mar 31, 2012

Optimization and Search Problems参考文献 2被引用数 39

ひとこと要約

本稿は、構造的行列予測問題における効率的で近似的に最適なレグレットバウンドを達成する、新しい行列分解特性である$(\beta,\tau)$-可分解性を導入する。オンラインmax-cut、ギャンブル、共同フィルタリングの各問題に対して、$\tilde{O}(\sqrt{βτT})$のレグレットバウンドを達成し、これらの設定における計算効率性と最適性に関する長年の未解決問題を解決する。

ABSTRACT

In several online prediction problems of recent interest the comparison class is composed of matrices with bounded entries. For example, in the online max-cut problem, the comparison class is matrices which represent cuts of a given graph and in online gambling the comparison class is matrices which represent permutations over n teams. Another important example is online collaborative filtering in which a widely used comparison class is the set of matrices with a small trace norm. In this paper we isolate a property of matrices, which we call (beta,tau)-decomposability, and derive an efficient online learning algorithm, that enjoys a regret bound of O*(sqrt(beta tau T)) for all problems in which the comparison class is composed of (beta,tau)-decomposable matrices. By analyzing the decomposability of cut matrices, triangular matrices, and low trace-norm matrices, we derive near optimal regret bounds for online max-cut, online gambling, and online collaborative filtering. In particular, this resolves (in the affirmative) an open problem posed by Abernethy (2010); Kleinberg et al (2010). Finally, we derive lower bounds for the three problems and show that our upper bounds are optimal up to logarithmic factors. In particular, our lower bound for the online collaborative filtering problem resolves another open problem posed by Shamir and Srebro (2011).

研究の動機と目的

• 有界エントリまたは低ランクの比較クラスを前提とする構造的行列予測問題における、効率的で近似的に最適なオンライン学習アルゴリズムの欠如に対処する。
• オンラインmax-cutおよびオンラインギャンブルにおける未解決問題を解消する。過去のアルゴリズムはいずれも非効率的、または最適なレグレット保証を欠いていた。
• トレースノルム制約付きオンライン共同フィルタリングのための統一的フレームワークを提供し、元のオフライン問題がNP困難であるにもかかわらず、近似的に最適なレグレットバウンドを達成する。
• 行列のスペクトル的性質と効率的オンライン学習との間の関係を確立し、スペクトル解析が、直ちには明らかでない場合でも、タイトなレグレットバウンドを可能にすることを示す。
• 構造的行列予測における既知の上界と下界の間のギャップを、対数的要因を除いて近似的に最適性を示すことで埋める。

提案手法

• 行列の構造的性質として$(\beta,\tau)$-可分解性を定義する：行列$\mathbf{W}$が$(\beta,\tau)$-可分解であるとは、その対称化が$\mathbf{P} - \mathbf{N}$と書けること。ここで$\mathbf{P}, \mathbf{N}$は半正定値であり、$\mathrm{Tr}(\mathbf{P}), \mathrm{Tr}(\mathbf{N}) \leq \tau$であり、対角成分は$\beta$以下である。
• 行列指数Bregman発散を用いたFollow-The-Regularized-Leader（FTRL）フレームワークを適用し、任意の$(\beta,\tau)$-可分解な比較クラスに対して$\tilde{O}(\sqrt{\beta\tau T})$のレグレットバウンドを導出する。
• 行列更新を効率的に計算するための双対最適化アプローチを用いる。各ラウンドで4つの制約しか持たない低次元の双対問題を解くことで、1反復あたり$\tilde{O}(p^3)$の時間計算量を達成する。
• 各ラウンド$t$において、現在のインデックスペア$(i_t, j_t)$に基づいて、有効な制約を捉える多面体$\mathcal{K}_t$を構築し、最適解がその内部にあることを保証する。
• ゴールデン＝トンプソンの不等式を用いて、行列指数のトレースをバウンドすることで、双対変数に有限範囲を設定し、楕円体法による効率的な凸最適化を可能にする。
• 3つの問題に本手法を適用する：オンラインmax-cut、オンラインギャンブル（置換ベース）、共同フィルタリング（トレースノルム制約付き）、それぞれの問題固有のレグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 カット、置換、低ランク行列といった構造的比較クラスを持つオンライン行列予測問題のための統一的フレームワークを構築することは可能か？
• RQ2 オフライン問題がNP困難であるにもかかわらず、オンラインmax-cutおよびオンラインギャンブルにおいて、効率的なアルゴリズムで近似的に最適なレグレットバウンドを達成することは可能か？
• RQ3 トレースノルムに基づく共同フィルタリング問題は、対数的要因を除いて最適なレグレットバウンドを達成する効率的アルゴリズムで解けるか？
• RQ4 これらの問題において、効率的オンライン学習とタイトなレグレット保証を可能にする行列の構造的性質は何か？
• RQ5 スペクトルに基づく分解を用いることで、構造的行列予測における既知の上界と下界のギャップを埋められるか？

主な発見

• 本稿は、オンラインmax-cutに対して$\tilde{O}(\sqrt{n \log n \, T})$のレグレットバウンドを確立し、これはほぼ最適であり、このようなバウンドを達成する最初の効率的アルゴリズムである。
• オンラインギャンブルにおいて、アルゴリズムは$\tilde{O}(\sqrt{n \log^3 n \, T})$のレグレットバウンドを達成し、Abernethy（2010）およびKleinbergら（2010）が提起した未解決問題を解決する。また、オフラインのフィードバックアークセット問題がNP困難であるにもかかわらず、問題が実行可能であることを示す。
• トレースノルム制約$\|\mathbf{W}\|_* \leq \tau$を満たすオンライン共同フィルタリングにおいて、アルゴリズムは$\tilde{O}(\sqrt{\tau \sqrt{n} \log n \, T})$のレグレットバウンドを達成し、対数的要因を除いて近似的に最適である。
• 本稿は、オンライン共同フィルタリングに対する下界を証明し、上界と対数的要因を除いて一致させることで、ShamirとSrebro（2011）が提起したもう一つの未解決問題を解決する。
• $(\beta,\tau)$-可分解性フレームワークは、カット行列、三角行列、低トレースノルム行列においてタイトであることが示され、その一般性と強力さが確認された。
• 本手法により、各ラウンドで4つの制約しか持たない双対問題を用いた効率的計算が可能となり、対数的反復回数を伴う凸最適化技術により、1反復あたり$\tilde{O}(p^3)$の時間計算量を達成する。