[論文レビュー] Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network

Zheng-Chu Guo, Lei Shi+1 more|arXiv (Cornell University)|Aug 6, 2017

Neural Networks and Applications被引用数 35

ひとこと要約

本稿では、分散回帰におけるバイアス補正を施した正則化カーネルネットワーク（BCRKN）を提案し、カーネルベースのモデルにおけるバイアスを低減することで学習性能を向上させる。単一データおよび分散設定の両方において最適な誤差バウンドと学習率を確立し、適切な条件下で最小最大最適収束率を達成する。

ABSTRACT

Distributed learning is an effective way to analyze big data. In distributed regression, a typical approach is to divide the big data into multiple blocks, apply a base regression algorithm on each of them, and then simply average the output functions learnt from these blocks. Since the average process will decrease the variance, not the bias, bias correction is expected to improve the learning performance if the base regression algorithm is a biased one. Regularization kernel network is an effective and widely used method for nonlinear regression analysis. In this paper we will investigate a bias corrected version of regularization kernel network. We derive the error bounds when it is applied to a single data set and when it is applied as a base algorithm in distributed regression. We show that, under certain appropriate conditions, the optimal learning rates can be reached in both situations.

研究の動機と目的

• 平均化により分散は低減されるがバイアスは低減されない分散回帰におけるバイアス問題に対処すること。特に、バイアスを伴う基本アルゴリズムを用いる場合に有効である。
• 分散環境下での正則化カーネルネットワーク（RKN）の学習性能を、バイアス補正を施した変種を導入することで向上させること。
• 単一データおよび分散データの両設定において、誤差バウンドと学習率を導出することで、バイアス補正RKN（BCRKN）の理論的妥当性を裏付けること。
• 標準RKNが示す飽和効果を克服し、BCRKNが最小最大最適学習率に達することを示すこと。
• 容量と滑らかさの仮定の下で、誤差バウンド解析を用いてBCRKNの分散学習における優位性を厳密に理論的基盤づけること。

提案手法

• 非線形回帰における推定バイアスを低減するために、標準RKNを変更したバイアス補正正則化カーネルネットワーク（BCRKN）を提案する。
• 分散学習フレームワークにおいて、データを複数のマシンに分割し、各データブロックにBCRKNをベースラーナーとして適用する。
• すべてのブロックからのBCRKN出力を単純に平均化することで最終的なグローバル予測子を構築し、計算効率とデータプライバシーを維持する。
• カーネル、容量、および目的関数の滑らかさに関する仮定の下で、単一データセットにおけるBCRKNの誤差バウンドを導出する。
• 期待誤差をバイアス、分散、近似の3つの成分に分解することで、分散回帰における一般化誤差を分析する。
• 統計的学習理論の道具、特に経験過程理論と固有値の崩壊仮定を用いて、真の関数からの期待$L^2$ノルム偏差をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 正則化カーネルネットワークにおけるバイアス補正は、分散回帰における一般化性能の向上に寄与するか？
• RQ2 単一データおよび分散学習設定の両方において、BCRKNの誤差バウンドと学習率はどのように確立できるか？
• RQ3 標準的な滑らかさおよび容量の仮定の下で、BCRKNは最小最大最適学習率に達するか？
• RQ4 サンプルサイズが増加する際、標準RKNで観察される飽和効果はBCRKNによってどのように緩和されるか？
• RQ5 データ分割が行われる状況下でも、分散BCRKNフレームワークが最適収束率を維持する条件は何か？

主な発見

• 適切な滑らかさおよび容量条件の下で、BCRKNは単一データおよび分散回帰設定の両方で最小最大最適学習率に達する。
• 分散学習におけるBCRKNの誤差バウンドは$ O(|D|^{-rac{2r}{2r+eta}}) $のスケーリングを示し、全データケースにおける最適レートと一致する。
• BCRKNは標準RKNのバイアスを低減することで、大規模設定における学習性能を制限する飽和効果を緩和する。
• 理論的解析により、データが複数のマシンに分割されてもBCRKNが最適収束を維持することが確認され、ブロック数が最適に非効率的に増加する場合に限る。
• 誤差バウンド解析により、分散成分がブロック数$m$に従って減少する一方で、バイアスは独立に補正されるため、全体的な性能が向上することが示された。
• 仮定$m \triangleq |D|^{\min\{\frac{2r-1}{2r+\beta}, \frac{2}{2r+\beta}\}}$の下で、収束速度の損失なしに学習率が最適を保つ。