[論文レビュー] On the Effectiveness of Richardson Extrapolation in Machine Learning

Francis Bach|arXiv (Cornell University)|Feb 7, 2020

Stochastic Gradient Optimization Techniques参考文献 43被引用数 7

ひとこと要約

本稿は、機械学習におけるリチャードソン補外の有効性を調査し、反復的最適化アルゴリズムにおける収束を加速する能力を示している。これは、根本的なアルゴリズムを変更せずに、反復回数や正則化パラメータといった異なるハイパーパrameter値からの推定値を組み合わせることで実現される。平均化勾配降下法および多面体上のフランク＝ウォルフ法では、漸近的収束レート $O(1/k^2)$ を達成し、ネステロフスムージングおよびリッジ回帰ではほぼ $O(1/k^2)$ のレートを示しており、理論的裏付けと実験的検証が行われている。

ABSTRACT

Richardson extrapolation is a classical technique from numerical analysis that can improve the approximation error of an estimation method by combining linearly several estimates obtained from different values of one of its hyperparameters, without the need to know in details the inner structure of the original estimation method. The main goal of this paper is to study when Richardson extrapolation can be used within machine learning, beyond the existing applications to step-size adaptations in stochastic gradient descent. We identify two situations where Richardson interpolation can be useful: (1) when the hyperparameter is the number of iterations of an existing iterative optimization algorithm, with applications to averaged gradient descent and Frank-Wolfe algorithms (where we obtain asymptotically rates of $O(1/k^2)$ on polytopes, where $k$ is the number of iterations), and (2) when it is a regularization parameter, with applications to Nesterov smoothing techniques for minimizing non-smooth functions (where we obtain asymptotically rates close to $O(1/k^2)$ for non-smooth functions), and ridge regression. In all these cases, we show that extrapolation techniques come with no significant loss in performance, but with sometimes strong gains, and we provide theoretical justifications based on asymptotic developments for such gains, as well as empirical illustrations on classical problems from machine learning.

研究の動機と目的

• リチャードソン補外が確率的勾配降下法におけるステップサイズの最適化を超えて、有効に適用可能かどうかを調査すること。
• 反復的機械学習アルゴリズムにおける収束レートの向上に寄与する条件を同定すること。
• アルゴリズム反復の漸近展開を用いた性能向上の理論的裏付けを提供すること。
• リッジ回帰や非滑らか最適化を含む古典的機械学習問題における、この手法の実験的妥当性を検証すること。
• ハイパーパrameterとして正則化パラメータおよび反復回数を補外に適用することを拡張すること。

提案手法

• ハイパーパrameter $t$（反復回数 $k$ や正則化パrameter $\lambda$）の異なる値からの推定値を組み合わせることで、主な誤差項を相殺するリチャードソン補外を用いる。
• 漸近展開 $x_t = x_* + t^\alpha \Delta + O(t^\beta)$ を仮定し、反復回数の場合は $\alpha = -1$、正則化の場合は $\alpha = 1$ として、補外式 $x^{(1)}_t = 2x_t - x_{2^{1/\alpha}t}$ を適用する。
• 二項係数およびバーデルモンデ型の連立一次方程式を用いて、補外推定子の明示的表現を導出し、カーネル行列上での閉形式スペクトル関数を導出する。
• カーネルリッジ回帰における補外推定子 $\hat{H}^{(m)}_\lambda$ のバイアスおよびバイアスの境界を確立し、$m$、$\lambda$、$n$ に依存することを示す。
• 積分表現およびガンマ関数を用いて、補外スムージング行列の閉形式表現 $s(\mu) = 1 - \frac{(m+1)!}{(\mu+1)\cdots(\mu+m+1)}$ を導出する。
• 標準的な機械学習問題における理論的結果の妥当性を実験的に検証し、性能の損なわれない収束の改善を示している。

実験結果

リサーチクエスチョン

• RQ1 平均化勾配降下法やフランク＝ウォルフ法のような反復的最適化アルゴリズムにおいて、反復回数にリチャードソン補外を有効に適用できるか。
• RQ2 ネステロフスムージングを用いた非滑らか最適化において、リチャードソン補外が収束レートを向上させるか。
• RQ3 正則化パラメータに補外を適用することで、リッジ回帰におけるバイアスを低減し、推定子の性能を向上させられるか。
• RQ4 リチャードソン補外が漸近的収束レート $O(1/k^2)$ を達成するための理論的条件は何か。
• RQ5 補外ステップ数 $m$ および正則化パラメータ $\lambda$ に応じて、補外推定子のバイアスおよびバイアスのスケーリングはどのように変化するか。

主な発見

• 平均化勾配降下法および多面体上でのフランク＝ウォルフ法において、リチャードソン補外は $O(1/k^2)$ の漸近的収束レートを達成し、標準の $O(1/k)$ レートを著しく上回る。
• 非滑らか最適化におけるネステロフスムージングでは、補外法により $O(1/k^2)$ に近い収束レートが得られ、非微分可能関数の取り扱いにおいて有効であることが示された。
• リッジ回帰では、補外によりバイアスが低減され、バイアス項のスケーリングが $O(n^{2m+1}\lambda^{2m+2})$ であるという理論的境界により裏付けられている。
• 補外推定子 $\hat{H}^{(m)}\_\lambda$ の分散は、$\triangle_m \sigma^2 / n \cdot \mathrm{tr}[K(K+n\lambda I)^{-1}]^2$ で有界であり、$\triangle_m$ は $n$ および $\lambda$ に依存しない。
• 閉形式表現 $s(\mu) = 1 - \frac{(m+1)!}{(\mu+1)\cdots(\mu+m+1)}$ は、補外カーネル行列のスペクトル関数を提供し、計算を効率化可能である。
• $m \to \infty$ のとき $s(\mu) \to 1$ となるが、定数 $\square_m$ および $\triangle_m$ は発散するため、バイアスは減少するが分散は $\sigma^2$ にゆっくり収束し、$m$ が大きい場合には実用的利点が制限される。