[論文レビュー] Learning from Conditional Distributions via Dual Kernel Embeddings.

Bo Dai, Niao He+3 more|arXiv (Cornell University)|Jul 15, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用数 6

ひとこと要約

本稿では、二重カーネル埋め込みを用いた最小最大最適化フレームワークを提案し、条件付き分布からの学習を可能にした。この手法により、1つのサンプルや少数のサンプルしか利用できない状況でも、効果的な関数近似が可能となる。ミラー降下確率的近似を用いて結合分布のカーネル埋め込みを推定することで、強化学習の政策評価および不変表現学習において最先端の性能を達成した。

ABSTRACT

In many machine learning problems, such as policy evaluation in reinforcement learning and learning with invariance, each data point $x$ itself is a conditional distribution $p(z|x)$, and we want to learn a function $f$ which links these conditional distributions to target values $y$. The learning problem becomes very challenging when we only have limited samples or in the extreme case only one sample from each conditional distribution $p(z|x)$. Commonly used approaches either assume that $z$ is independent of $x$, or require an overwhelmingly large sample size from each conditional distribution. To address these challenges, we propose a novel approach which reformulates the original problem into a min-max optimization problem. In the new view, we only need to deal with the kernel embedding of the joint distribution $p(z,x)$ which is easy to estimate. Furthermore, we design an efficient learning algorithm based on mirror descent stochastic approximation, and establish the sample complexity for learning from conditional distributions. Finally, numerical experiments in both synthetic and real data show that our method can significantly improve over the previous state-of-the-arts.

研究の動機と目的

• 1つまたは少数のサンプルしか利用できない状況での条件付き分布からの関数学習の課題に対処すること。
• zとxの間の独立性を仮定するか、大規模なサンプルサイズを必要とする既存手法の制限を克服すること。
• 政策評価や不変性学習のような問題に対して、サンプル効率の高い学習フレームワークを構築すること。
• 実用的な推定を可能にするために、結合分布のカーネル埋め込みの観点から問題を定式化すること。
• 限られたデータ下での条件付き分布からの学習における理論的サンプル複雑度の境界を確立すること。

提案手法

• 結合分布 p(z,x) の二重カーネル埋め込みに関する最小最大最適化問題に学習問題を再定式化する。
• カーネル埋め込みを用いて結合分布 p(z,x) を表現し、限られたデータから推定可能でより頑健な表現を実現する。
• ミラー降下確率的近似を用いて、最小最大最適化問題を効率的に解く。
• 条件付き独立性に関する仮定を避け、観測されたサンプルから直接 p(z,x) のカーネル埋め込みを推定する。
• レプresenter定理を活用して、解をカーネル関数の線形結合として表現し、スケーラブルな計算を可能にする。
• 双対変数の最適化と関数推定の更新を交互に繰り返す反復アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 1つのサンプルしか利用できない x ごとに、条件付き分布 p(z|x) からターゲット値 y への関数 f を学習できるか？
• RQ2 既存の手法が直面する z と x の強い独立性仮定をどのように回避できるか？
• RQ3 限られたデータ下での条件付き分布からの学習における理論的サンプル複雑度は何か？
• RQ4 政策評価および不変表現学習において、最先端の手法を上回る性能を達成できるか？
• RQ5 データが限られる状況下で、提案された二重カーネル埋め込みフレームワークは、既存のベースラインと比較してどのように実験的に評価されるか？

主な発見

• 提案手法は、合成データおよび実世界の実験において、従来の最先端手法を顕著に上回った。特にデータが限られる条件下で顕著な優位性を示した。
• 1つのサンプルしか利用できない条件付き分布に対しても、安定的かつ正確な関数推定が可能となった。
• 理論的分析により、データ使用効率が優れていることが示された、有益なサンプル複雑度の境界が確立された。
• 強化学習の政策評価タスクにおいて、ベースラインと比較して性能が向上したことが実験的に示された。
• ミラー降下確率的近似アルゴリズムは信頼性高く収束し、高次元設定に対しても効果的にスケーリングされた。