[論文レビュー] Optimal Rates of Distributed Regression with Imperfect Kernels

Hongwei Sun, Qiang Wu|arXiv (Cornell University)|Jun 30, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用数 8

ひとこと要約

本稿は、核関数が不完全な場合—すなわち真の回帰関数が再生核ヒルベルト空間に正確に含まれない場合でさえも、核リッジ回帰（KRR）およびバイアス補正付きKRR（BCKRR）を用いた分散型カーネル回帰において、容量に依存しない最適な学習率を確立する。著者らは、応答変数の重み付けされたアルゴリズムフレームワークを導入し、きめ細かなleave-one-out解析を実施することで、説明されない応答分散を考慮した鋭い誤差バウンドを導出し、核が不完全な状況下でも最適な収束速度を実現可能にする。

ABSTRACT

Distributed machine learning systems have been receiving increasing attentions for their efficiency to process large scale data. Many distributed frameworks have been proposed for different machine learning tasks. In this paper, we study the distributed kernel regression via the divide and conquer approach. This approach has been proved asymptotically minimax optimal if the kernel is perfectly selected so that the true regression function lies in the associated reproducing kernel Hilbert space. However, this is usually, if not always, impractical because kernels that can only be selected via prior knowledge or a tuning process are hardly perfect. Instead it is more common that the kernel is good enough but imperfect in the sense that the true regression can be well approximated by but does not lie exactly in the kernel space. We show distributed kernel regression can still achieves capacity independent optimal rate in this case. To this end, we first establish a general framework that allows to analyze distributed regression with response weighted base algorithms by bounding the error of such algorithms on a single data set, provided that the error bounds has factored the impact of the unexplained variance of the response variable. Then we perform a leave one out analysis of the kernel ridge regression and bias corrected kernel ridge regression, which in combination with the aforementioned framework allows us to derive sharp error bounds and capacity independent optimal rates for the associated distributed kernel regression algorithms. As a byproduct of the thorough analysis, we also prove the kernel ridge regression can achieve rates faster than $N^{-1}$ (where $N$ is the sample size) in the noise free setting which, to our best knowledge, are first observed and novel in regression learning.

研究の動機と目的

• 現実世界のカーネルはほとんど完璧ではないという実用的制限に対処する。すなわち、真の回帰関数が関連する再生核ヒルベルト空間に正確に含まれない場合である。
• 完璧なカーネルの理想状態にとどまらず、より現実的で「十分に良いが完璧ではない」カーネルの状況においても、分散型カーネル回帰の理論的最適性を拡張する。
• 応答変数の重み付けベースアルゴリズムを統合した、分散回帰の分析のための一般化されたフレームワークを構築する。これにより、説明されない応答分散の影響を明示的に取り入れる。
• 不完全なカーネル下で、分散型KRRおよびBCKRRに対する鋭い誤差バウンドと容量に依存しない最適な学習率を導出する。
• ノイズのない回帰設定において、$O(N^{-1})$ よりも速い「超高速」学習率が達成可能であることを示す。これは回帰学習分野における新しい発見である。

提案手法

• 応答変数の重み付けされた分散回帰アルゴリズムの分析のための一般化されたフレームワークを提案する。ここで、単一データセット上の性能が、全体の分散学習率を決定する。
• 核リッジ回帰（KRR）のleave-one-out解析を導入し、応答変数の説明されない分散を明示的に反映した誤差バウンドを導出する。
• 同じleave-one-out解析をバイアス補正付き核リッジ回帰（BCKRR）に適用し、不完全なカーネル下でも鋭い誤差バウンドを可能にする。
• BCKRRを2つの代替的視点—残差フィッティングと再中心化正則化—から再定式化する。これにより理論的解析が容易になり、より広範な適用性が得られる。
• 応答変数の重み付けフレームワークと導出された誤差バウンドを統合し、分散型KRRおよびBCKRRに対する容量に依存しない最適な学習率を確立する。
• このフレームワークを用いて、ノイズのない回帰設定において、$O(N^{-1})$ よりも速い学習率が可能であることを示す。これは回帰学習分野でこれまで観察されていなかった現象である。

実験結果

リサーチクエスチョン

• RQ1 核が不完全である場合—すなわち真の回帰関数が再生核ヒルベルト空間に含まれない場合—でも、分散型カーネル回帰は最適な学習率を達成できるか？
• RQ2 応答変数の説明されない分散の影響を、分散回帰アルゴリズムの誤差バウンドに形式的に組み込む方法は何か？
• RQ3 不完全なカーネル下における分散型KRRおよびBCKRRの理論的性能は何か？また、容量に依存しない最適なレートを達成できるか？
• RQ4 回帰学習において、$O(N^{-1})$ よりも速い「超高速」学習率は可能か？特にノイズのない設定においては？
• RQ5 BCKRRアルゴリズムは、明示的な作用素表現を超えた理論的解析と応用を可能にする、代替的定式化へと再解釈可能か？

主な発見

• 提案された応答変数の重み付けフレームワークにより、説明されない分散を考慮すれば、分散回帰の解析を単一データセット上のベースアルゴリズムの分析に還元可能である。
• 応答変数の説明されない分散を明示的に組み込んだきめ細かなleave-one-out解析により、KRRの鋭い誤差バウンドが導出され、より厳密で現実的な性能推定が可能になる。
• 不完全なカーネル下でも、分散型KRRおよびBCKRRは容量に依存しない最適な学習レートを達成する。これは、従来の完璧なカーネルに限った結果を拡張したものである。
• 本稿は、回帰学習分野で初めて知られる、$O(N^{-1})$ よりも速い「超高速」学習レートをノイズのない設定で確立した。これは文献に対する画期的な貢献である。
• BCKRRに対して2つの新しい視点を導入した：残差フィッティングと再中心化正則化。これらは、KRRの明示的作用素表現を超えた一般化性能の向上に理論的・実用的利点をもたらす。
• 理論的フレームワークと誤差バウンドが、ローカルノード数に強く依存しないことが示された。これにより、従来の分散学習における分割数に関する制約が緩和された。