[論文レビュー] Stochastic Chebyshev Gradient Descent for Spectral Optimization

In‐Su Han, Haim Avron+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、ランダム化トレース推定とバリアンス最適な確率的切断を組み合わせることで、対数行列式や核ノルムなどのスペクトル和関数を含むスペクトル最適化問題に対する不偏な確率的勾配法である Stochastic Chebyshev Gradient Descent (SCGD) を提案する。主な貢献は、推定器の分散を最小化する証明可能な最適な次数分布を導出することであり、これにより従来のバイアス付きまたは部分的に最適でない確率的手法よりも高速かつ安定した収束が実現可能となる。実験的検証では、ガウス過程学習において最大6倍の高速化を達成した。

ABSTRACT

A large class of machine learning techniques requires the solution of optimization problems involving spectral functions of parametric matrices, e.g. log-determinant and nuclear norm. Unfortunately, computing the gradient of a spectral function is generally of cubic complexity, as such gradient descent methods are rather expensive for optimizing objectives involving the spectral function. Thus, one naturally turns to stochastic gradient methods in hope that they will provide a way to reduce or altogether avoid the computation of full gradients. However, here a new challenge appears: there is no straightforward way to compute unbiased stochastic gradients for spectral functions. In this paper, we develop unbiased stochastic gradients for spectral-sums, an important subclass of spectral functions. Our unbiased stochastic gradients are based on combining randomized trace estimators with stochastic truncation of the Chebyshev expansions. A careful design of the truncation distribution allows us to offer distributions that are variance-optimal, which is crucial for fast and stable convergence of stochastic gradient methods. We further leverage our proposed stochastic gradients to devise stochastic methods for objective functions involving spectral-sums, and rigorously analyze their convergence rate. The utility of our methods is demonstrated in numerical experiments.

研究の動機と目的

• スペクトル和関数（例：対数行列式や核ノルム）における正確な勾配の計算コストが非常に高い問題に対処すること。
• 既存のバイアス付き推定器に制限を受ける確率的最適化において、スペクトル和関数の不偏な確率的勾配を構築すること。
• 勾配推定器の分散を最小化する、チェビシェフ展開のためのバリアンス最適な切断分布を設計すること。これは、安定かつ高速な収束にとって不可欠である。
• 完全な勾配計算を削減しつつ収束保証を維持することで、大規模なスペクトル最適化を効率的に行えるようにすること。
• 実世界のタスク（例：行列補完やガウス過程回帰）における手法の実証的検証。

提案手法

• チェビシェフ多項式展開における切断次数を確率的にサンプリングすることにより、スペクトル和関数の不偏な確率的勾配推定器を提案する。
• ランダム化トレース推定と確率的切断を組み合わせることで、完全な固有値分解を回避し、計算コストを削減する。
• 勾配推定器の分散を最小化するバリアンス最適な次数分布を導出する。これにより収束が高速化される。
• 最適な次数分布を活用して、標準的なSGDとSVRGの2つの確率的最適化フレームワークを設計し、両者とも厳密な収束解析を実施する。
• スペクトル関数を行列多項式のトレースとして表現するためのチェビシェフ多項式近似を用いる。これにより、効率的な確率的トレース推定が可能になる。
• 行列摂動バウンズ（例：チェビシェフ多項式の微分不等式を用いて）を用いて、確率的近似における誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 完全な固有値分解に依存せずに、スペクトル和関数のための不偏な確率的勾配を構築することは可能か？
• RQ2 チェビシェフ展開のためのどの切断分布が、確率的勾配推定器の分散を最小化するか？
• RQ3 標準的な選択（例：一様分布や幾何分布）と比較して、提案手法のバリアンス最適分布は収束速度と安定性においてどのように優れているか？
• RQ4 提案手法は、大規模なスペクトル最適化タスクにおいて、従来の確率的または決定的手法よりも高速な収束を達成できるか？
• RQ5 最適な次数分布を用いた場合、提案手法のSGDおよびSVRGバリアントの理論的収束レートは何か？

主な発見

• 提案されたバリアンス最適な次数分布は、図1に示すように、一様分布や幾何分布と比較して勾配推定器の分散を1桁分低減した。
• SCGD手法は、SGDではサブ線形収束レート、SVRGでは線形収束レートを達成しており、両者ともに最適な次数分布に強く依存している。
• 行列補完およびガウス過程回帰のタスクにおいて、Szeged humidデータセット上で、最先端の特化型手法[8]と比較して最大6倍の高速化を達成した。
• 低分散の確率的勾配のおかげで、安定した収束を維持でき、実用的最適化にとって不可欠である。
• 理論的解析により、収束レートがタイトであり、最適化によって導出された分散最小化切断分布に依存していることが確認された。
• 実験的結果により、本手法が大規模な実世界問題に効率的にスケーリングでき、汎用的および特化型のベースラインを上回ることを示した。