[論文レビュー] High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning

Francis Bach|ArXiv.org|Sep 4, 2009

Domain Adaptation and Few-Shot Learning参考文献 82被引用数 56

ひとこと要約

本稿では、指数的数の基本カーネルを有向無閉路グラフ（DAG）に埋め込むことで、多変数非線形変数選択のための階層的カーネル学習フレームワークを提案する。これにより、多項式時間でスパarsity誘導最適化が可能となり、無関係な変数の数が標本サイズとともに指数的に増加しても一貫した変数選択が達成可能である。本手法は、合成データおよびUCIデータセットにおいて、最先端の手法を上回る性能を示した。

ABSTRACT

We consider the problem of high-dimensional non-linear variable selection for supervised learning. Our approach is based on performing linear selection among exponentially many appropriately defined positive definite kernels that characterize non-linear interactions between the original variables. To select efficiently from these many kernels, we use the natural hierarchical structure of the problem to extend the multiple kernel learning framework to kernels that can be embedded in a directed acyclic graph; we show that it is then possible to perform kernel selection through a graph-adapted sparsity-inducing norm, in polynomial time in the number of selected kernels. Moreover, we study the consistency of variable selection in high-dimensional settings, showing that under certain assumptions, our regularization framework allows a number of irrelevant variables which is exponential in the number of observations. Our simulations on synthetic datasets and datasets from the UCI repository show state-of-the-art predictive performance for non-linear regression problems.

研究の動機と目的

• 入力変数間の複雑な相互作用が存在する高次元設定において、従来の線形手法が失敗する非線形変数選択の課題に取り組む。
• 非線形カーネルの組み合わせを指数的数から選択する計算上の非効率性を、自然な階層的構造を活用することで克服する。
• DAGに整合するスパarsityパターンに制限を加えるグラフ適応型ノルムに基づく、スパarsity誘導正則化フレームワークを構築する。
• 標本サイズとともに無関係な変数の数が指数的に増加する高次元漸近的設定下でも、変数選択の一貫性を確立する。
• 合成データおよびUCIベンチマークデータセットを用いた広範なシミュレーションを通じて、非線形回帰タスクにおける最先端の予測性能を示す。

提案手法

• 入力変数の部分集合、または{0,…,q}^p内の多次元インデックスでインデックス付けされた正定値基本カーネルの和を用いて非線形相互作用をモデル化する。
• 変数間相互作用に内在する階層的関係を活用するため、基本カーネルの集合を有向無閉路グラフ（DAG）に埋め込む。
• DAGにおける親子関係におけるℓ2ノルムの組み合わせから導出される、グラフ適応型のスパarsity誘導ノルムを導入し、カーネル選択を制御する。
• DAG構造を持つカーネル空間上でスパース選択を促進する正則化項を備えた、複数カーネル学習としての最適化問題を定式化する。
• DAG構造を活用することで、すべての可能なカーネル組み合わせをブルートフォースで列挙するのを避けることにより、カーネル選択の多項式時間アルゴリズムを設計する。
• レプレーサ定理とヒルバート空間正則化を用いて、計算的妥当性を保ちつつ、暗黙の特徴空間で学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 入力次元に対して指数的に増加する潜在的相互作用の数を考慮する高次元設定において、非線形変数選択を効率的に行うことは可能か？
• RQ2 非線形カーネルの空間をどのように構造化すれば、多項式時間での選択が可能でありながら統計的一致性を保てるか？
• RQ3 標本数とともに指数的に増加する無関係な変数の状況下で、一貫した変数選択を可能にする正則化フレームワークは何か？
• RQ4 DAGに基づくカーネル埋め込みは、標準的な複数カーネル学習と比較して、計算効率と予測性能の両方を向上させられるか？
• RQ5 提案手法は、高次元領域における過学習を避けて、複雑で高次の相互作用にどの程度適応可能か？

主な発見

• DAG構造を活用することで、指数的数の基本カーネルに対して多項式時間でのカーネル選択が可能となり、非効率な列挙を回避する。
• 理論的分析により、適切な仮定の下で、無関係な変数の数が標本数に対して指数的に増加する場合でも、一貫した変数選択が達成されることを示した。
• フレームワークにより、p次のすべての可能なp変数の部分集合を含む、非線形相互作用の選択が可能であり、これは普遍的一致性に不可欠である。
• 合成データおよびUCIデータセットにおける実験結果から、非線形回帰タスクにおける予測性能が最先端水準であることが示された。
• 高次元の暗黙の特徴空間におけるカーネルベース学習とスパarsity誘導正則化を組み合わせることで、優れた一般化性能を達成した。
• 推定誤差および固有値安定性に関する理論的バウンディングを導出し、モデル不適合や有限標本効果に対しても、本手法がロバストであることを示した。