[論文レビュー] Implementing regularization implicitly via approximate eigenvector computation

Michael W. Mahoney, Lorenzo Orecchia|arXiv (Cornell University)|Oct 4, 2010

Sparse and Compressive Sensing Techniques参考文献 22被引用数 31

ひとこと要約

この論文は、グラフラプラシアンの最小非自明固有ベクトルを近似する際、3つのランダムウォークベースのアルゴリズム—ヒートカーネル、ページランク、および打ち切り遅延ランダムウォーク—が、標準的なベクトル最適化ではなく、単位ベクトルの確率分布上の関連する半定値計画問題において、正則化された最適化問題を暗黙的（implicit）に解いていることを特徴づけている。これにより、高速な近似アルゴリズムと暗黙的な統計的正則化の間の正式なリンクが得られる。

ABSTRACT

Regularization is a powerful technique for extracting useful information from noisy data. Typically, it is implemented by adding some sort of norm constraint to an objective function and then exactly optimizing the modified objective function. This procedure often leads to optimization problems that are computationally more expensive than the original problem, a fact that is clearly problematic if one is interested in large-scale applications. On the other hand, a large body of empirical work has demonstrated that heuristics, and in some cases approximation algorithms, developed to speed up computations sometimes have the side-effect of performing regularization implicitly. Thus, we consider the question: What is the regularized optimization objective that an approximation algorithm is exactly optimizing? We address this question in the context of computing approximations to the smallest nontrivial eigenvector of a graph Laplacian; and we consider three random-walk-based procedures: one based on the heat kernel of the graph, one based on computing the the PageRank vector associated with the graph, and one based on a truncated lazy random walk. In each case, we provide a precise characterization of the manner in which the approximation method can be viewed as implicitly computing the exact solution to a regularized problem. Interestingly, the regularization is not on the usual vector form of the optimization problem, but instead it is on a related semidefinite program.

研究の動機と目的

• 高速な近似アルゴリズムが明示的なペナルティ項を用いずに正則化を暗黙的に行うという考えを形式化すること。
• グラフラプラシアンの第一非自明固有ベクトルを近似する際に広く用いられる3つのランダムウォークベースの手法が、裏に潜む正確な正則化最適化問題を特定すること。
• 暗黙的正則化が標準的なベクトル最適化ではなく、単位ベクトルの分布上の緩和された半定値計画問題に生じることを示すこと。
• ヒューリスティック手法におけるアルゴリズム的効率と統計的頑健性のギャップを、ヒューリスティック手法における暗黙的正則化を特徴づけることで埋めること。
• ノイズが多く、スパースなネットワークにおいて、明示的正則化が計算的に困難である場合に、高速かつ近似的なアルゴリズムがなぜ実験的に成功するのかを、理論的根拠として提供すること。

提案手法

• 単位ベクトル上のスペクトル最適化問題として、標準的な固有ベクトル計算を形式化すること。
• 変数を単位ベクトルの確率分布とする半定値計画問題に問題を緩和し、暗黙的正則化の特定を可能にすること。
• ヒートカーネル、ページランク、および打ち切り遅延ランダムウォークの3つのランダムウォークベースの手法を分析し、それぞれが正則化された半定値計画問題を解いていることを示すこと。
• それぞれのケースにおける正則化項を、ウォークの混合性および定常分布に依存する関数として特徴づけること。
• スペクトルグラフ理論およびマルコフ連鎖の性質を用いて、各近似手法が最適化する正則化目的関数の正確な形を導出すること。
• 暗黙的正則化が、明示的なペナルティ項ではなく、ランダムウォーク遷移行列の構造とその収束行動に起因することを示すこと。

実験結果

リサーチクエスチョン

• RQ1 グラフラプラシアンの最小非自明固有ベクトルを近似する際、ヒートカーネル法が暗黙的に解く正則化最適化問題は何か？
• RQ2 ページランクベクトル計算は、グラフラプラシアン固有ベクトル近似の文脈で、どのように正確な正則化最適化問題の解に対応するか？
• RQ3 打ち切り遅延ランダムウォークは、固有ベクトル計算をどのように暗黙的に正則化するのか？他の手法と比較するとどうなるか？
• RQ4 なぜ正則化が標準的なベクトル定式化ではなく、単位ベクトルの分布上の半定値緩和に生じるのか？
• RQ5 高速な近似アルゴリズムの統計的利点—ノイズやスパarsityに頑健であること—を、最適化目的関数における暗黙的正則化に正式に帰属づけることができるか？

主な発見

• ヒートカーネル、ページランク、および打ち切り遅延ランダムウォークの3つのランダムウォークベースの手法は、いずれも標準的な固有ベクトル問題の半定値緩和における正則化最適化問題を正確に解いていると解釈できる。
• 正則化はベクトル自体に対してではなく、単位ベクトルの分布に対して行われており、スペクトル手法における新しい形の暗黙的正則化を明らかにしている。
• それぞれのケースにおける正則化項は、ランダムウォークの定常分布からの乖離を表しており、自然な混合行動から逸脱する解を効果的にペナルティ化している。
• 暗黙的正則化により、ノイズやスパarsityが大きい大規模ネットワークにおいても、解がより頑健になることが示され、コミュニティ検出やクラスタリングにおけるこれらの手法の実験的成功を説明できる。
• この特徴づけにより、明示的正則化がなくても、近似アルゴリズムにおけるバイアス・バリアンスのトレードオフが理論的に裏付けられる。
• 結果から、スペクトル問題に対する高速でほぼ線形時間のアルゴリズムが、本質的に正則化を実行している可能性が示唆され、明示的正則化が計算的に困難な大規模設定において、統計的に望ましい選択肢であると考えられる。