[論文レビュー] The Mondrian Kernel

Matej Balog, Balaji Lakshminarayanan+3 more|arXiv (Cornell University)|Jun 16, 2016

Topological and Geometric Data Analysis参考文献 12被引用数 8

ひとこと要約

モンドリアンカーネルは、ラプラスカーネルの高速で効率的なランダム特徴近似であり、すべてのカーネル幅に対して再利用可能でオンラインな特徴構築を可能にする。モンドリアン過程を用いることで、ランダムな分割をサンプリングし、迅速なカーネル幅選択が可能となり、ランダムフーリエ特徴やビンニング特徴と比較して少ない特徴数で優れた性能を達成する。また、カーネル法とランダムフォレストの間の新しい関係を明らかにする。

ABSTRACT

We introduce the Mondrian kernel, a fast $ extit{random feature}$ approximation to the Laplace kernel. It is suitable for both batch and online learning, and admits a fast kernel-width-selection procedure as the random features can be re-used efficiently for all kernel widths. The features are constructed by sampling trees via a Mondrian process [Roy and Teh, 2009], and we highlight the connection to Mondrian forests [Lakshminarayanan et al., 2014], where trees are also sampled via a Mondrian process, but fit independently. This link provides a new insight into the relationship between kernel methods and random forests.

研究の動機と目的

• カーネル法におけるカーネル幅選択の計算的非効率性に対処する。通常、各幅に対して再訓練が必要となる。
• 再訓練を伴わずに、さまざまなカーネル幅で特徴を再利用できるラプラスカーネルのランダム特徴近似を開発する。
• モンドリアン過程を通じて、カーネル法とランダムフォレストの間の理論的かつ実用的な関係を確立する。
• ラプラスカーネルに基づくモデルにおけるオンライン学習と効率的なハイパーパramータチューニングを可能にする。
• 特に大規模またはストリーミング環境において、高価な正確なラプラスカーネル計算のスケーラブルな代替手段を提供する。

提案手法

• 競合する指数分布時計を介して階層的かつ軸に沿った分割を生成するモンドリアン過程を用いてランダム特徴を構築する。
• データポイントがどのモンドリアン分割のビンに属するかに基づき、インジケーターベクトルにマッピングすることでスパースな特徴表現を形成する。
• モンドリアン過程のプロジェクティビティ特性を活用し、同じランダム特徴をすべてのカーネル幅で再利用することで、再訓練を回避する。
• モンドリアン過程のライフタイムパラメータ λ を、ラプラスカーネルの長さスケール（逆幅）の代理として使用する。
• バリデーション誤差を最適化することで、ライフタイム λ を最適化し、迅速で反復的なチューニングを可能にする。
• モンドリアンカーネルとモンドリアンフォレストを比較し、パラメータフィッティング（同時 vs 個別）の違いと性能のトレードオフを強調する。

実験結果

リサーチクエスチョン

• RQ1 モンドリアン過程を用いて、カーネル幅選択が効率的なラプラスカーネルのランダム特徴近似を構築可能か？
• RQ2 ランダムフーリエ特徴やランダムビンニングと比較して、モンドリアンカーネルの近似精度と計算効率はどのように異なるか？
• RQ3 モンドリアンカーネルとモンドリアンフォレストの間には、理論的および実用的な関係があるか？また、カーネルにおける同時パラメータフィッティングはモデルのコンパクト性をどのように向上させるか？
• RQ4 モンドリアンカーネルは、適応的なカーネル幅選択を伴う高速なオンライン学習を可能にするか？
• RQ5 他のランダム特徴手法と比較して、モンドリアンカーネルはより少ない非ゼロ特徴数でより良い一般化性能を達成するか？

主な発見

• CPUデータセットにおいて、1データポイントあたり15未満の非ゼロ特徴数を使用する場合、モンドリアンカーネルはランダムフーリエ特徴やビンニング特徴よりも低いテスト誤差を達成する。
• 非ゼロ特徴数が少ない場合、モンドリアンカーネルの最大絶対カーネル近似誤差はランダムビンニングと同等であり、フーリエ特徴と比較して顕著に低い。
• バリデーション誤差を用いて、真のカーネルライフタイム λ₀ = 10 をオーダーオブマグニチュードの範囲で回復し、誤差を最小化する ˆλ ≈ 19 を得た。
• バリデーション誤差対計算時間のプロットから、モンドリアンカーネルはランダムフーリエ特徴やビンニングと比較して、少なくとも1桁以上速く適切なカーネル幅を発見できる。
• モンドリアンフォレストと比較して、モンドリアンカーネルは低いライフタイム値で低いテスト誤差を達成しており、同時にパラメータを同時にフィッティングすることにより、よりコンパクトで効率的なモデルであることが示された。
• モンドリアンカーネルが学習する重み分布は、モンドリアンフォレストと比較してゼロの周りにより鋭く集中しており、小さな重みの集約により極端な予測が可能になる。