[論文レビュー] Nonparametric Bayesian Regression on Manifolds via Brownian Motion

Xu Wang, Gilad Lerman|arXiv (Cornell University)|Jul 24, 2015

Bayesian Methods and Mixture Models参考文献 29被引用数 4

ひとこと要約

本稿は、コンパクトなリーマン多様体上のブラウン運動を事前分布として用いる非パrametricベイズ回帰フレームワークを導入する。後部分布の一致性を確立し、任意の $\theta > 0$ に対して $O(n^{-1/4+\theta})$ の収縮率を示す。連続ブラウン運動では弱一致性を示し、線形構造が存在しない設定において、カーネル法の統計的に厳密な代替手法を提供する。

ABSTRACT

This paper proposes a novel framework for manifold-valued regression and establishes its consistency as well as its contraction rate. It assumes a predictor with values in the interval $[0,1]$ and response with values in a compact Riemannian manifold $M$. This setting is useful for applications such as modeling dynamic scenes or shape deformations, where the visual scene or the deformed objects can be modeled by a manifold. The proposed framework is nonparametric and uses the heat kernel (and its associated Brownian motion) on manifolds as an averaging procedure. It directly generalizes the use of the Gaussian kernel (as a natural model of additive noise) in vector-valued regression problems. In order to avoid explicit dependence on estimates of the heat kernel, we follow a Bayesian setting, where Brownian motion on $M$ induces a prior distribution on the space of continuous functions $C([0,1], M)$. For the case of discretized Brownian motion, we establish the consistency of the posterior distribution in terms of the $L_{q}$ distances for any $1 \leq q < \infty$. Most importantly, we establish contraction rate of order $O(n^{-1/4+ε})$ for any fixed $ε>0$, where $n$ is the number of observations. For the continuous Brownian motion we establish weak consistency.

研究の動機と目的

• コンパクトなリーマン多様体上に存在する応答を扱う非パラメトリックベイズフレームワークの開発を目的とし、このような空間における線形構造の欠如に対処する。
• ベクトル値回帰におけるガウスノイズモデルの一般化を、ヒートカーネルとブラウン運動を用いて多様体値応答に適用すること。
• 提案されたベイズモデル下での頻度的一致性および後部分布の収縮率の確立。
• 従来のパラメトリックおよびカーネルベースの手法の制限を克服すること。これらの手法は、しばしば測地線的または多項式的構造を強く仮定するか、収縮率の理論的分析を欠いている。
• 非線形多様体に適用できないガウス過程事前分布の代替として、統計的に根拠のある手法を提供すること。

提案手法

• フレームワークは、多様体上のヒートカーネルを用いて応答分布をモデル化し、これはブラウン運動の遷移密度に対応し、連続関数 $C([0,1], M)$ 上の事前分布を誘導する。
• ブラウン運動のパスの分布を用いて事前分布を構築し、スケーリングパラメータ $c$ が拡散時間（したがって事前分布の滑らかさ）を制御する。
• 離散化ブラウン運動の場合、事前分布は側長パラメータ $b_n$ を持つ区分的測地線関数の上に定義され、関数空間の柔軟な近似を可能にする。
• ベイズの定理を用いて後部分布を導出する。尤度は、観測値のノイズをモデル化するヒートカーネル $p_{\tau^2}(f_0(t), x)$ に基づく。
• 理論的分析は、関数間の $L_q$ 距離とそれらが誘導する分布間の $L_q$ 距離の比較に依拠し、多様体上の幾何的境界を用いる。
• 収縮率は、ヒートカーネルモデル下での後部分布の集中性を活用する一般的な頻度的アプローチにより確立される。

実験結果

リサーチクエスチョン

• RQ1 線形構造に依存せずに、ブラウン運動を事前分布として用いる非パラメトリックベイズ回帰モデルを、多様体値応答に対して構築可能か？
• RQ2 このモデル下での後部分布の収縮率は何か？ また、ユークリッド空間における既知の収縮率と比較してどうなるか？
• RQ3 ハイパーパramータ $c$（拡散時間）および $b_n$（側長）の選択が、推定精度およびバイアス・バリアンスのトレードオフにどのように影響するか？
• RQ4 離散化および連続ブラウン運動の両方において、$L_q$ ノルム（$1 \leq q < \infty$）で後部分布は一様に一致するか？
• RQ5 このフレームワークは、$L_\infty$ 収束または $n^{-1/4+\theta}$ ではなく $n^{-1/4}$ のよりタイトな収縮率を達成するために拡張可能か？

主な発見

• 離散化ブラウン運動に基づく後部分布は、任意の $1 \leq q < \infty$ に対して $L_q$ ノルムで一様に一致する。
• 真の関数への後部分布の収縮率は、任意の $\theta > 0$ に対して $O(n^{-1/4 + \theta})$ であり、多様体値回帰における初めてのこのような収縮率の確立である。
• 連続ブラウン運動の場合、後部分布は弱く一様に一致し、真の関数への分布収束を示す。
• ハイパーパramータ $c$ は拡散時間を制御する。$c$ を小さくすると推定器が滑らかになるが、特に離散化ケースではバイアスが増加する。
• 離散化モデルにおける側長パラメータ $b_n$ はバイアスに影響を与える。$b_n$ を小さくするとバイアスが減少し、$L_1$ 誤差が改善され、$b_n$ が十分に小さくなると最適な性能が得られる。
• 連続ブラウン運動推定器（CBM）は、離散化バージョン（DBM）よりも $c$ の小さな値に対して敏感でないため、ハイパーパramータ選択においてより高いロバスト性を示す。