[論文レビュー] A Generalized Kernel Approach to Structured Output Learning

Hachem Kadri, Mohammad Ghavamzadeh+1 more|arXiv (Cornell University)|May 10, 2012

Neural Networks and Applications参考文献 29被引用数 20

ひとこと要約

本稿では、出力相関関係と入力-出力依存関係をモデル化することで、従来のカーネル依存推定（KDE）の制限を克服する一般化されたカーネルアプローチを提案する。出力空間に依存する共分散に基づく作用素値カーネルと、条件付き共分散を用いたバリエーションを導入し、低ランク近似を用いたスケーラビリティ向上により、顔画像再構成および構造的予測タスクで最先端の性能を達成した。

ABSTRACT

We study the problem of structured output learning from a regression perspective. We first provide a general formulation of the kernel dependency estimation (KDE) problem using operator-valued kernels. We show that some of the existing formulations of this problem are special cases of our framework. We then propose a covariance-based operator-valued kernel that allows us to take into account the structure of the kernel feature space. This kernel operates on the output space and encodes the interactions between the outputs without any reference to the input space. To address this issue, we introduce a variant of our KDE method based on the conditional covariance operator that in addition to the correlation between the outputs takes into account the effects of the input variables. Finally, we evaluate the performance of our KDE approach using both covariance and conditional covariance kernels on two structured output problems, and compare it to the state-of-the-art kernel-based structured output regression methods.

研究の動機と目的

• 従来のKDEにおける出力の分離化と入力-出力の統合的モデル化の欠如といった制限を解消すること。
• 出力間の依存関係および入力と出力の間の依存関係を捉えることができる、作用素値カーネルを用いたKDEの一般化された定式化を構築すること。
• 入力空間に依存しない出力構造を符号化する、新しい共分散に基づく作用素値カーネルを提案すること。
• 入力要因を出力相関モデルに組み込む条件付き共分散作用素のバリエーションを提案すること。
• 不完全コレスキー分解を用いた低ランク近似により、KDEのスケーラビリティと性能を向上させること。

提案手法

• スカラー値カーネルの代わりに作用素値カーネルを用いて構造的出力学習を回帰問題として定式化し、出力依存関係の統合的モデリングを可能にする。
• 出力空間上で作用する共分散に基づく作用素値カーネルを導入し、カーネル特徴空間の構造を介して出力間の相互作用をモデル化する。
• 入力変数を出力相関モデリングに統合する条件付き共分散作用素に基づくカーネルを開発し、入力-出力依存関係の捕捉を強化する。
• カーネルトリックを作用素値カーネルに一般化し、特徴写像の明示的計算なしに逆写像計算を可能にする。
• 不完全コレスキー分解を用いた効率的な低ランク近似を実装し、大規模データセットへのスケーリングを実現する。
• 実験では、入力にRBFカーネル、出力に線形カーネルを用い、カーネルパラメータは交差検証により最適化した。

実験結果

リサーチクエスチョン

• RQ1 作用素値カーネルは、スカラー値カーネルに比べて出力間の依存関係をより効果的にモデル化することで、構造的出力学習を改善できるか？
• RQ2 カーネルベースの構造的出力回帰において、入力-出力依存関係を明示的にモデル化する方法は何か？
• RQ3 出力構造を符号化する共分散に基づく作用素値カーネルは、標準KDEに比べて構造的予測タスクで優れた性能を発揮するか？
• RQ4 提案された条件付き共分散カーネルは、実世界の構造的出力問題において、既存のKDEおよびJKM手法を上回る性能を達成できるか？
• RQ5 不完全コレスキー分解による低ランク近似は、大規模な構造的出力学習において、計算コストを大幅に削減しながらも性能を十分に保持できるか？

主な発見

• 提案された条件付き共分散KDE手法は、顔面から顔面へのマッピングタスクで、最小の平均二乗誤差（MSE）0.1130 ± 0.0014を達成し、JKM（0.1257 ± 0.0016）および標準KDE（0.1773 ± 0.0012）を上回った。
• 1,200件の学習例を用いた場合、条件付き共分散KDEの低ランク近似は、全1,200例を用いたフルKDEよりも、30例の選択例でのMSE ≈ 0.115というより優れた性能を達成した。
• 作用素値カーネルの使用により、古典的KDEに見られる出力の分離化問題が効果的に解消された。
• 条件付き共分散カーネルは、入力効果を出力相関モデリングに組み込むことで、顕著に性能向上をもたらし、入力-出力依存関係の統合的モデリングの重要性を示した。
• 不完全コレスキー分解により、大幅な計算コストの削減が達成され、予測精度を維持した。これにより、提案手法のスケーラビリティが裏付けられた。
• 3つのベンチマーク構造的出力問題において、提案手法は最先端のカーネルベースの構造的出力回帰手法を上回り、一般化性能とロバストネスの有効性を検証した。