[論文レビュー] On the inability of Gaussian process regression to optimally learn compositional functions

Matteo Giordano, Kolyan Ray+1 more|arXiv (Cornell University)|May 16, 2022

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

この論文は、標準的なガウス過程（GP）回帰が、一般化された加法的モデルを含む合成関数を最適に学習できないことを示している。これは、事後分布の収縮速度に内在する制限によるものである。最適なカーネルを選んでも、GP事前分布は真の関数へ収束する速度が、標本サイズの多項式因子によって最小最大最適レートより厳密に遅くなる。一方、深層ガウス過程（deep GP）は最小最大レートに達しており、このような構造的関数に対して統計的に優れていることが証明された。

ABSTRACT

We rigorously prove that deep Gaussian process priors can outperform Gaussian process priors if the target function has a compositional structure. To this end, we study information-theoretic lower bounds for posterior contraction rates for Gaussian process regression in a continuous regression model. We show that if the true function is a generalized additive function, then the posterior based on any mean-zero Gaussian process can only recover the truth at a rate that is strictly slower than the minimax rate by a factor that is polynomially suboptimal in the sample size $n$.

研究の動機と目的

• 標準的なガウス過程事前分布が合成関数を学習する際の構造的制限を特定すること。
• GP回帰における事後分布収縮速度の情報理論的下界を厳密に確立すること。
• 任意のゼロ平均GP事前分布が一般化された加法的モデルにおいて推定レートを最適にしないことを示すこと。
• GPの性能と、合成クラスにおいて最小最大収縮レートに達する深層ガウス過程との対比を示すこと。
• 真の関数が合成的構造を持つ場合に、ベイジアン非パラメトリックモデリングにおける深層事前分布の使用に理論的根拠を与えること。

提案手法

• 著者たちは、i.i.d. 設計点を伴う非パラメトリック回帰と同等の連続ガウス白色ノイズ回帰モデルにおける事後分布収縮速度を分析した。
• KP展開を用いてGP事前分布を表現し、正規直交基底における係数の系列モデルに回帰問題を変換した。
• GP事後分布平均の予測リスクを、基底展開における事後分布平均の構造を直接利用して直接的に評価する、新しい証明技法を開発した。
• GP共分散作用素の固有値の減衰特性を活用して、事後分布平均のリスクに対する下界を構築する手法を採用した。
• 補足資料における第二の証明では、問題をスパース系列モデルに還元し、線形レートの下界を導出し、元のモデルにおける非最適性を十分に示した。
• 系列表現における尤度および事後分布を導出するために、カクタニの積マルティンググール定理に依存した。

実験結果

リサーチクエスチョン

• RQ1 標準的なガウス過程事前分布は、一般化された加法的モデルに対して最小最大事後分布収縮速度に達することができるか？
• RQ2 GP回帰には、合成関数を最適に回復できない根本的な統計的制限があるか？
• RQ3 GP事前分布の事後分布収縮速度は、一般化された加法的関数に対して最小最大レートと比べてどうか？
• RQ4 深層ガウス過程はこの制限を克服し、このような関数に対して最小最大レートに達することができるか？
• RQ5 GP事前分布のどの構造的性質が、合成関数クラスにおける非最適推定レートを引き起こすか？

主な発見

• 一般化された加法的モデルでは、任意のゼロ平均ガウス過程事前分布は、標本サイズ $ n $ の多項式因子によって最小最大レートより厳密に遅い事後分布収縮速度を持つ。
• 非最適性はGP事前分布の構造に内在しており、共分散カーネルの選択とは無関係である。
• GPの事後分布平均は最小最大レートに達しない。これは、事後分布の大部分が真の関数の最小最大 $ L^2 $-近傍外にあることを意味する。
• 一方、深層ガウス過程は、一般化された加法的モデルを含む任意の合成クラスに対して最小最大事後分布収縮速度に達することが証明された。
• 本研究は、標準的GPと深層GPの間の理論的ギャップを確立し、構造的関数に対してベイジアン非パラメトリックモデリングでより深い事前分布を使用する根拠を示した。
• 本研究の結果は、抽象的な集中関数条件に依存しない、GP事後分布平均の予測リスクを直接評価する新しい証明技法によって得られた。