[論文レビュー] Expanded Alternating Optimization of Nonconvex Functions with Applications to Matrix Factorization and Penalized Regression

William J. Murdoch, Mu Zhu|arXiv (Cornell University)|Dec 12, 2014

Sparse and Compressive Sensing Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、標準的な交互最適化（AO）後に、問題固有の新たな部分空間における追加探索を実施することにより、行列分解および罰則付き回帰における非凸最適化を改善する拡張型交互最適化（EAO）フレームワークを提案する。この手法は、特にデータ構造に適合させた場合に、収束性と解の品質を顕著に向上させ、実世界およびシミュレートされたデータセットにおけるMC+およびSparseNet罰則を用いた実験でその有効性が示された。

ABSTRACT

We propose a general technique for improving alternating optimization (AO) of nonconvex functions. Starting from the solution given by AO, we conduct another sequence of searches over subspaces that are both meaningful to the optimization problem at hand and different from those used by AO. To demonstrate the utility of our approach, we apply it to the matrix factorization (MF) algorithm for recommender systems and the coordinate descent algorithm for penalized regression (PR), and show meaningful improvements using both real-world (for MF) and simulated (for PR) data sets. Moreover, we demonstrate for MF that, by constructing search spaces customized to the given data set, we can significantly increase the convergence rate of our technique.

研究の動機と目的

• 非凸問題における標準的交互最適化（AO）の限界、特に悪く局所的最小値や鞍点に収束してしまう問題を解決する。
• 推薦システムにおける行列分解の解の品質と収束速度を向上させるために、標準AO更新の範囲を超えた部分空間の探索を実施する。
• 非凸罰則（例：MC+）を伴う罰則付き回帰における座標降下法の性能を向上させ、特に高次元設定において有効にすること。
• AOの元のブロックとは異なり、問題に意味のある新たな探索方向を体系的に探索する手法を開発する。
• データの特性に合わせて探索部分空間をカスタマイズすることで、収束が著しく高速化され、最終的な目的関数値が向上することを示すこと。

提案手法

• 拡張型交互最適化（EAO）を提案：標準AOが収束した後、AOで使用されていない問題固有の新たな部分空間において第二段階の最適化を実施する。
• 問題の構造的性質に基づいて新たな部分空間を定義する—例えば、行列分解における低ランク構造や回帰におけるスパarsityパターン。
• 行列分解の文脈では、現在のAOの解方向に直交するユーザーまたはアイテムの潜在ベクトルに基づく部分空間を探索する。
• MC+罰則を伴う罰則付き回帰では、係数のアクティブ集合および符号パターンに基づく部分空間を探索し、一次条件の区分線形解を用いる。
• ケースベースの戦略を用いて最適な変数更新を求める：βjの異なる符号および大きさの範囲に対応する複数の(ψ, ξ)ペアをテストし、整合性のない解を除外する。
• 臨界閾値（例：γλ）によって定義される各区間において、vに関する線形方程式を解き、目的関数を最小化する解を候補として選ぶ。

実験結果

リサーチクエスチョン

• RQ1 標準的交互最適化（AO）の探索空間を超えて拡張することで、非凸行列分解における収束性と解の品質が向上するか？
• RQ2 MC+などの非凸罰則を伴う罰則付き回帰において、EAOの性能は標準AOや座標降下法と比べてどのように異なるか？
• RQ3 データ固有の構造（例：スパarsityや低ランク構造）に合わせて探索部分空間をカスタマイズすることで、EAOの収束がどの程度高速化されるか？
• RQ4 符号および大きさの範囲に基づく複数の解の分岐を探索することで、最終的な目的関数値にどのような影響を与えるか？
• RQ5 EAOは、標準AOが閉じ込められがちな悪く局所的最小値や鞍点を一貫して脱出できるか？

主な発見

• 実世界の推薦システムデータにおける行列分解において、EAOは標準AOおよび座標降下法を上回る顕著な目的関数値の改善を達成した。
• MC+罰則を伴う罰則付き回帰において、EAOは特に高次元設定において、標準的な座標降下法よりも優れた解の品質を達成した。
• 探索部分空間をデータ（例：スパarsityや低ランク構造）に合わせてカスタマイズした場合、EAOは一般実装に比べてはるかに高速に収束した。
• 代替部分空間の探索により、悪く局所的最小値を効果的に脱出でき、複数の実世界およびシミュレートされたデータセットで一貫した改善が観察された。
• MC+罰則に対する区分線形解戦略により、βjの異なる範囲において正確かつ効率的な候補解の計算が可能となった。
• 複数の整合性のある解が存在しうるが、本手法は目的関数を最小化する解を選択することで、標準AOよりも改善された収束を保証した。