[論文レビュー] On-line PCA with Optimal Regrets

Jiazhong Nie, Wojciech Kotłowski+1 more|arXiv (Cornell University)|Jun 17, 2013

Advanced Bandit Algorithms Research参考文献 14被引用数 13

ひとこと要約

この論文は、行列指数勾配（MEG）アルゴリズムが、スパースなインスタンスに対してもオンラインPCAで最適なレジットバウンドを達成することを確立している。これは、従来の見方とは対照的である。MEGは勾配降下法（GD）と同等のレジット性能を示し、時間ホライズンおよび予算レジット設定の両方で、PCAの損失関数の非負性に起因して、理論的に最適であることが示された。

ABSTRACT

We carefully investigate the on-line version of PCA, where in each trial a learning algorithm plays a k-dimensional subspace, and suffers the compression loss on the next instance when projected into the chosen subspace. In this setting, we analyze two popular on-line algorithms, Gradient Descent (GD) and Exponentiated Gradient (EG). We show that both algorithms are essentially optimal in the worst-case. This comes as a surprise, since EG is known to perform sub-optimally when the instances are sparse. This different behavior of EG for PCA is mainly related to the non-negativity of the loss in this case, which makes the PCA setting qualitatively different from other settings studied in the literature. Furthermore, we show that when considering regret bounds as function of a loss budget, EG remains optimal and strictly outperforms GD. Next, we study the extension of the PCA setting, in which the Nature is allowed to play with dense instances, which are positive matrices with bounded largest eigenvalue. Again we can show that EG is optimal and strictly better than GD in this setting.

研究の動機と目的

• スパースおよび密なインスタンス設定下でのオンラインPCAアルゴリズムのレジット性能を分析すること。
• MEGがスパース設定で劣ると広く信じられてきた長年の誤解を解き、オンラインPCAにおけるMEGの最適性を示すこと。
• ミニマックスレジット下限を確立し、GDとMEGの上界と比較すること。
• 時間ホライズンではなく固定損失予算に基づくレジットとして測定した場合のMEGとGDの最適性を調査すること。
• オンラインPCAにおける非負損失の影響が、アルゴリズム設計およびレジット分析に与える意味を明らかにすること。

提案手法

• 著者らは、敵対的インスタンス系列をエキスパート集合にグループ化した確率的構成を用いて、オンラインPCAのミニマックスレジット下限を導出する。
• 量子相対エントロピー正則化を用いて非負パラメータを維持し、制約を自然に満たす損失および利得バージョンのMEGアルゴリズムを適用する。
• 時間ホライズンレジットにおいて、GDおよびMEGが導出された下限の定数倍のレジットを達成することを証明し、両者の近似的最適性を示す。
• 予算レジットにおいて、総損失が有界なスパースインスタンス系列を構築し、MEGのレジットがΘ(√(m ln(n/m)B))にスケーリングされることを示し、ミニマックス下限と一致することを確認する。
• オンライン学習の定理と双対性の議論を用いて、時間ベースのレジット境界を予算ベースの設定に変換する。
• エキスパート設定における対称性と集中の議論を活用し、各グループ内の最悪のエキスパートの累積損失に対する下限を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースなインスタンスに対して、行列指数勾配（MEG）アルゴリズムが、一般的に信じられているようにオンラインPCAで劣っているとされるのは真実か？
• RQ2 MEGは、オンラインPCAにおいて時間ホライズンおよび損失予算の両設定で最適なレジットバウンドを達成できるか？
• RQ3 なぜMEGは、他のオンライン学習問題とは異なり、外積インスタンスがスパースであってもオンラインPCAで良好に機能するのか？
• RQ4 PCAの損失関数の非負性が、GDとMEGの相対的性能にどのように影響するか？
• RQ5 予算ベースのレジット分析は、オンラインPCAにおいてMEGがGDを上回る明確な優位性を示せるか？

主な発見

• MEGは、ミニマックス下限の定数倍のレジットを達成し、スパースおよび密なインスタンス設定の両方で最適性が保証される。
• 時間ホライズンレジットにおいて、m ≤ n/2のとき、MEGのレジットはΘ(m√(T log(n/m)))であり、下限と一致し、最適性が確認される。
• 予算ベースのレジットにおいて、MEGのレジットはΘ(√(m ln(n/m)B))であり、これは最適であり、同じ設定下でGDの予算レジットよりも厳密に優れている。
• MEGは、量子相対エントロピー正則化により非負パラメータを維持できるため、予算レジット設定でGDを上回る。
• PCAの損失関数の非負性は、対称的損失設定とは根本的に異なるダイナミクスを生じさせ、スパースさにもかかわらずMEGが良好に機能する理由を説明する。
• GDのミラー降下版は不等式制約における「忘れの効果」に苦しむため、劣ったレジットを示す。これは、GDの異なるバージョン間にギャップが存在することを示唆する。