[論文レビュー] Structure Discovery in Nonparametric Regression through Compositional Kernel Search

David Duvenaud, James Robert Lloyd+3 more|arXiv (Cornell University)|Feb 20, 2013

Gaussian Processes and Bayesian Inference参考文献 25被引用数 274

ひとこと要約

この論文は、基本カーネルを和および積によって組み合わせることで、解釈可能なカーネル構造を自動で発見する非パラメトリック回帰のための構成的カーネル探索手法を提案する。尤度を基準として用いることで、時系列データにおける正確な長距離外挿が可能となり、予測タスクにおいて標準的なカーネルや組み合わせ手法を上回る性能を発揮する。

ABSTRACT

Despite its importance, choosing the structural form of the kernel in nonparametric regression remains a black art. We define a space of kernel structures which are built compositionally by adding and multiplying a small number of base kernels. We present a method for searching over this space of structures which mirrors the scientific discovery process. The learned structures can often decompose functions into interpretable components and enable long-range extrapolation on time-series datasets. Our structure search method outperforms many widely used kernels and kernel combination methods on a variety of prediction tasks.

研究の動機と目的

• 非パラメトリック回帰におけるカーネル選択の課題に取り組む。これは、しばしば専門家の直感や試行錯誤に依存する。
• カーネル構造の自動発見を実現する。これは、固定されたハイパーパramータチューニング問題として扱うのではなく、構造的探索を目的とする。
• 構成的カーネル構築を通じて、関数を意味のある成分に解釈可能な分解を可能にする。
• 構造的に意味のあるカーネルを学習することで、特に時系列データにおける長距離外挿の一般化性能を向上させる。
• 恣意的なカーネル設計を、ベイジアンモデル選択に基づく原理的で探索ベースの方法に置き換える。

提案手法

• この手法は、小さな基本カーネル集合（例：平方指数関数、周期的、線形）の和および積によって構成されるカーネル構造の空間を定義する。
• カーネル構造の発見を、この構成的空間上の離散的探索問題として定式化し、尤度を目的関数として用いる。
• 方程式発見や教師なし学習にインspiredされた技術を用いて、複雑なカーネル組み合わせを効率的に探索する。
• 多次元入力に対するカーネルは、各入力次元ごとの1次元基本カーネルを和および積の操作で組み合わせることで構築する。
• この手法はガウス過程フレームワーク内で適用され、カーネルが事前分布の共分散を定義し、したがって帰納的バイアスを制御する。
• 構造選択には尤度を用い、意味のある関数的分解の自動発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 体系的かつ自動化された手法が、手作業で設計されたか、標準的なカーネル組み合わせよりも優れた一般化性能を示すカーネル構造を発見できるか？
• RQ2 発見されたカーネル構造は、トレンド、周期性、局所的変動などの意味のある成分に、複雑な関数を解釈可能に分解できるか？
• RQ3 構成的カーネル探索手法は、時系列回帰タスクにおける正確な長距離外挿を可能にするか？
• RQ4 学習されたカーネル構造の性能は、広く使われているカーネル族や組み合わせ技法と比べてどうか？
• RQ5 この手法は、合成データから既知のカーネル形式を回復できるか。これにより、信頼性と表現力が裏付けられるか？

主な発見

• 提案手法は合成データから既知のカーネル構造を正確に回復でき、正しい関数形の発見能力を検証した。
• 実世界の時系列データセットにおいて、学習されたカーネルは正確な長距離外挿を可能にし、標準的なカーネルや組み合わせ手法を上回った。
• 発見されたカーネル構造は、しばしばトレンドや周期性といった解釈可能な成分に関数を分解でき、モデルの解釈性を向上させた。
• この手法は、複数の教師あり予測タスクにおいて、広く使われている多様なカーネルクラスやカーネル組み合わせ技法を上回った。
• 尤度に基づく探索は、カーネル形式の手動指定を必要とせず、複雑で構成的なカーネルを効果的に発見できる。
• 自動カーネル構造発見が、専門家主導のカーネル設計を透明性があり科学的根拠に基づく代替手段に置き換えられることを示した。