[論文レビュー] Conditional mean embeddings as regressors - supplementary

Steffen Grünewälder, Guy Lever+4 more|arXiv (Cornell University)|May 21, 2012

Advanced Statistical Methods and Models参考文献 17被引用数 8

ひとこと要約

本稿は、再生核ヒルバート空間（RKHS）における条件付き平均埋め込みとベクトル値回帰の理論的同等性を確立し、条件付き分布の学習に回帰ベースの手法を適用可能にする。正則化損失関数を導入し、$O(\log n / n)$ のミニマックス収束速度を導出（従来の $O(n^{-1/4})$ よりも向上）し、$\ell_{2,1}$-ノルム正則化を用いたスパース埋め込みアルゴリズムを提案。強化学習タスクでの実験により、優れたスパarsityと一般化性能を示した。

ABSTRACT

We demonstrate an equivalence between reproducing kernel Hilbert space (RKHS) embeddings of conditional distributions and vector-valued regressors. This connection introduces a natural regularized loss function which the RKHS embeddings minimise, providing an intuitive understanding of the embeddings and a justification for their use. Furthermore, the equivalence allows the application of vector-valued regression methods and results to the problem of learning conditional distributions. Using this link we derive a sparse version of the embedding by considering alternative formulations. Further, by applying convergence results for vector-valued regression to the embedding problem we derive minimax convergence rates which are O(\log(n)/n) -- compared to current state of the art rates of O(n^{-1/4}) -- and are valid under milder and more intuitive assumptions. These minimax upper rates coincide with lower rates up to a logarithmic factor, showing that the embedding method achieves nearly optimal rates. We study our sparse embedding algorithm in a reinforcement learning task where the algorithm shows significant improvement in sparsity over an incomplete Cholesky decomposition.

研究の動機と目的

• RKHSにおける条件付き平均埋め込みとベクトル値回帰の正式な関係を確立すること。
• 条件付き平均埋め込みに適した原理的で正則化された損失関数を提供し、交差検証と改善された最適化を可能にすること。
• 従来の研究よりも弱い仮定のもとで、よりタイトなミニマックス収束速度を導出すること。
• $\ell_{2,1}$-ノルム正則化を用いてラベル情報を利用したスパース埋め込みアルゴリズムを開発すること。
• 強化学習設定においてスパース手法を実証し、既存手法と比較してスパarsityと一般化性能の向上を示すこと。

提案手法

• RKHSにおける自然なチホノフ正則化損失関数を用いて、条件付き平均埋め込みをベクトル値回帰問題の解として形式化する。
• 埋め込み推定値を $\hat{\mu}(x) = \sum_{i=1}^n \alpha_i(x) L(y_i, \cdot)$ と定義し、ここで $\alpha_i(x) = \sum_{j=1}^n W_{ij} K(x_j, x)$ かつ $\bm{W} = (\bm{K} + \lambda n \bm{I})^{-1}$ である。
• 標準的なチホノフペナルティの代わりに、$\bm{W}$ 行列に対する $\ell_{2,1}$-ノルムペナルティを導入することで、行および列方向のスパarsityを誘導するスパース版を提案する。
• スパース定式化における正則化パラメータ $\gamma$ のチューニングに交差検証を適用する。
• ベクトル値回帰理論からの収束結果を応用し、埋め込み推定子のミニマックスレートを導出する。
• 200件の訓練サンプルを用いた振り子のスイングアップ問題を対象とした強化学習タスクで、スパースアルゴリズムを実装および評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付き平均埋め込みは、正式にベクトル値回帰問題の解として解釈可能か？
• RQ2 条件付き平均埋め込みが最小化する自然な正則化損失関数は何か？
• RQ3 この回帰フレームワークを用いることで、より弱い仮定のもとで条件付き平均埋め込みの収束速度を向上できるか？
• RQ4 一般化性能を保ちながら、埋め込み推定値にスパarsityをどのように導入できるか？
• RQ5 提案されたスパース埋め込み手法は、既存のスパース化技術（例：不完全コレスキー分解）を上回る実用的学習タスクでの性能を示せるか？

主な発見

• 条件付き平均埋め込みは、チホノフ正則化損失関数を用いたベクトル値回帰問題の解と同等である。
• 本手法は $O(\log n / n)$ のミニマックス収束速度を達成し、従来の最先端の $O(n^{-1/4})$ より顕著に向上した。
• これらのレートは、従来の結果よりも弱く、直感的な仮定のもとで成立する。
• 導出された上界レートは、対数要因を除いて最適であり、既知の下界と一致する。
• $\ell_{2,1}$-ノルム正則化に基づく提案されたスパース埋め込みアルゴリズムは、強化学習タスクにおいて不完全コレスキー分解よりも優れたスパarsityを達成した。
• アルゴリズムにより、パラメータ選択のための交差検証が可能となり、これまでは埋め込みのための定義された損失関数が存在しなかったため、実現不可能であった。