[論文レビュー] Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression

Jiading Liu, Лей Ши|arXiv (Cornell University)|Nov 20, 2022

Statistical Methods and Inference被引用数 7

ひとこと要約

本稿は、弱い仮定の下で分割統治型カーネルベース関数線形回帰の統計的最適性を確立し、真のスロープ関数が再生核ヒルベルト空間（RKHS）に含まれない場合でさえも、最小最大最適予測レートを達成することを示している。積分作用素のアプローチと鋭い有限標本バウンドを活用することで、著者らは漸近的最適性を証明し、穏やかな条件下で任意に高速な収束を示している。

ABSTRACT

Previous analysis of regularized functional linear regression in a reproducing kernel Hilbert space (RKHS) typically requires the target function to be contained in this kernel space. This paper studies the convergence performance of divide-and-conquer estimators in the scenario that the target function does not necessarily reside in the underlying RKHS. As a decomposition-based scalable approach, the divide-and-conquer estimators of functional linear regression can substantially reduce the algorithmic complexities in time and memory. We develop an integral operator approach to establish sharp finite sample upper bounds for prediction with divide-and-conquer estimators under various regularity conditions of explanatory variables and target function. We also prove the asymptotic optimality of the derived rates by building the mini-max lower bounds. Finally, we consider the convergence of noiseless estimators and show that the rates can be arbitrarily fast under mild conditions.

研究の動機と目的

• 真のスロープ関数が再帰的カーネルヒルベルト空間（RKHS）に必ずしも属しない場合の、関数線形回帰における分割統治推定子の収束性能を分析すること。
• 積分作用素を用いた理論的枠組みを構築し、さまざまな正則性条件の下で予測リスクの鋭い有限標本上界を導出すること。
• 導出された収束レートの最適性を示すために、漸近的最小最大下界を確立すること。
• ノイズなし推定子の挙動を調査し、穏やかな仮定の下で収束レートが任意に高速になることを示すこと。
• 従来のRKHS仮定が成立しない困難な学習状況においても、カーネルベース関数回帰の適用範囲を拡張すること。

提案手法

• 全データセットをm個の互いに素なサブセットに分割し、各サブセットで局所的RLS推定子を訓練する分割統治戦略を用いる。
• 予測リスクを分析するために積分作用素のアプローチを適用し、関数予測子の共分散構造とカーネル作用素をモデル化する。
• 積分作用素の固有値特性とスロープ関数・共変量の正則性条件を用いて、過剰予測リスクの有限標本上界を導出する。
• 小さな近傍内に適切に選ばれた関数集合を用いたテストによる議論により、最小最大下界を確立し、上界の鋭さを証明する。
• ヒルベルト空間上での自己随伴確率作用素に対するベルンシュタインの不等式を用いて、経験的作用素とその期待値との乖離を制御する。
• コーシー＝フラッシェルの最小最大原理を用いて、合成作用素の固有値を比較し、さまざまな積分作用素の固有値行動を比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 真のスロープ関数がRKHSに含まれない場合でも、分割統治型カーネルベース推定子は最小最大最適予測レートを達成できるか？
• RQ2 一般の正則性条件の下で、このような推定子の予測リスクに対する鋭い有限標本上界は何か？
• RQ3 漸近的に収束レートはどのように振る舞い、最小最大最適であるか？
• RQ4 どのような条件下で、ノイズなしの場合でも収束レートが任意に高速になるか？
• RQ5 カーネル作用素およびその固有値特性は、推定子の統計的性能を決定づける役割を果たすか？

主な発見

• 提案された分割統治推定子は、真のスロープ関数がRKHSに含まれない場合でさえも、最小最大最適収束レートを予測リスクに対して達成する。
• スロープ関数と共変量の正則性条件の下で、過剰予測リスクの鋭い有限標本上界が導出され、$ O(N^{-rac{2 heta}{2 heta + p}}) $ のスケーリングを示す。
• 最小最大下界は上界と定数因子を除いて一致しており、導出されたレートの漸近的最適性が証明される。
• ノイズなし推定子の場合、滑らかさパラメータ $ \theta $ と固有値の減衰率 $ p $ に依存するが、穏やかな仮定の下で収束レートを任意に高速にできる。
• 積分作用素とスペクトル解析に基づく理論的枠組みにより、非RKHSの目的関数の分析が可能となり、カーネルベース関数回帰の適用範囲が拡張される。
• 結果はカーネルの選択に強く依存せず、関数予測子およびノイズ構造に関する一般仮定のもとで成立する。