[論文レビュー] A Kernel for Hierarchical Parameter Spaces

Frank Hutter, Michael A. Osborne|arXiv (Cornell University)|Oct 21, 2013

Mathematical Analysis and Transform Methods被引用数 12

ひとこと要約

本稿では、擬距離およびユークリッド空間への等長埋め込みを用いて、混合連続・離散階層的パrameter空間における正定値カーネルの族を提案する。主な貢献は、DAG構造に従う依存関係とアクティブ/非アクティブな入力次元を尊重する、数学的に整合性のあるカーネル構築法であり、複雑なパrameter空間における直感的な距離モデリングと、有効なガウス過程回帰を可能にする。

ABSTRACT

We define a family of kernels for mixed continuous/discrete hierarchical parameter spaces and show that they are positive definite.

研究の動機と目的

• DAGを介して階層的に構造化された、連続変数とカテゴリカル変数が混合した入力空間に対して、カーネル関数を構築すること。
• カーネルが正定値であることを保証し、このような複雑なパrameter空間における有効なガウス過程回帰を可能にすること。
• DAGにおける先祖の値に基づいて入力次元のアクティブ状態をモデル化し、ハイパーパramータ探索空間における条件付き依存関係を捉えること。
• 階層的パrameter空間における意味的類似性を反映する、直感的かつ解釈可能な距離測度（擬距離）を定義すること。
• 個々のカーネルを和または積で組み合わせる一般的なフレームワークを提供し、混合型入力の柔軟なモデリングを可能にすること。

提案手法

• 入力次元間の依存関係を符号化するDAG構造を定義し、子次元は特定の先祖の値の下でのみアクティブになるようにする。
• 各次元に対して、値 $ x_i $ とそのアクティブ状態 $ \delta_i(\mathbf{x}) $ に依存する擬距離 $ d_i $ を構築し、直感的な距離測定を保証する。
• 連続次元に対しては、正規化された値と周期性パramータを用いた擬距離を定義し、円形または有界な振る舞いをモデル化する。
• カテゴリカル次元に対しては、類似度パramータ $ \rho $ を用いた擬距離を定義し、カテゴリ間の意味的差をモデル化する。
• 各入力をユークリッド空間に写像する等長写像 $ f_i $ を確立し、擬距離 $ d_i(\mathbf{x}, \mathbf{x}') $ がユークリッド距離 $ d_E(f_i(\mathbf{x}), f_i(\mathbf{x}')) $ に等しくなるようにする。
• 埋め込み空間上で標準的なユークリッドカーネル（例：指数型平方カーネル）を用い、有効な正定値カーネル $ k_i(\mathbf{x}, \mathbf{x}') = \kappa(d_i(\mathbf{x}, \mathbf{x}')) $ を構築する。

実験結果

リサーチクエスチョン

• RQ1 条件付き入力アクティブ性を有する混合連続・離散階層的パrameter空間に対して、正定値カーネルをどのように構築できるか？
• RQ2 このような空間において、パラメータ設定間の直感的な意味的差を捉える距離測度は何か？
• RQ3 カーネルがDAG構造を尊重し、子パラメータが特定の先祖構成下でのみアクティブになるように保証されるか？
• RQ4 各次元ごとのカーネルを個別に定義し、和または積で組み合わせることで正定値性が保たれるか？
• RQ5 提案されたカーネルがガウス過程推論に有効であることを保証する数学的基盤は何か？

主な発見

• 提案されたカーネル族は正定値であることが証明されており、階層的混合パrameter空間におけるガウス過程回帰の有効性を保証する。
• 連続次元の擬距離は、三角不等式を満たすことが三角関数恒等式とケース解析により示された。
• カテゴリカル次元の擬距離は、すべての可能なアクティブ状態の組み合わせにおいて、三角不等式が満たされることを証明した。
• ユークリッド空間への等長埋め込みによるカーネル構築により、$ \mathbb{R}^P $ 上の標準的な正定値カーネルを用いて、元の入力空間上での有効なカーネルを生成可能である。
• 個々のカーネルを和または積で柔軟に組み合わせることで、複雑なカーネル関数のモジュラー設計が可能である。
• 自動機械学習のハイパーパラメータ探索に見られるような、条件付き依存関係を持つパラメータ空間を、原則に則った方法でモデリング可能である。