[論文レビュー] Feature Hashing for Large Scale Multitask Learning

Kilian Q. Weinberger, Anirban Dasgupta+3 more|arXiv (Cornell University)|Feb 12, 2009

Advanced Image and Video Retrieval Techniques参考文献 11被引用数 16

ひとこと要約

この論文は、指数的尾部バウンドを備えた不偏特徴ハッシュ化手法を導入し、高次元スパース特徴を低次元空間に圧縮することで、大規模マルチタスク学習を効率的に行えるようにする。実世界のスパムフィルタリングデータを用いた実験で、独立にハッシュ化された部分空間同士の干渉が無視できるほど小さく、数十万のタスクを最小限のメモリおよび計算コストで同時に学習可能であることが確認された。

ABSTRACT

Empirical evidence suggests that hashing is an effective strategy for dimensionality reduction and practical nonparametric estimation. In this paper we provide exponential tail bounds for feature hashing and show that the interaction between random subspaces is negligible with high probability. We demonstrate the feasibility of this approach with experimental results for a new use case -- multitask learning with hundreds of thousands of tasks.

研究の動機と目的

• 特徴空間が高次元でメモリ制約がある状況下で、大規模マルチタスク分類器を学習する課題に対処すること。
• カーネル法における特徴ハッシュ化の経験的成功を理論的に裏付けるために、内積推定の不偏性を確立すること。
• 独立したハッシュ関数によって生成されるランダム部分空間が最小限に干渉することを示し、効率的なマルチタスク学習を可能にすること。
• 特徴ハッシュ化が、例えばパーソナライズドスパム検出のような実世界の協調フィルタリングタスクに適用可能であることを実証すること。

提案手法

• ハッシュ関数 $ h $ とランダムな符号関数 $ \xi $ を用いて、高次元スパース特徴ベクトルを低次元空間に写像する符号付きハッシュ関数を提案し、内積の不偏推定を保証する。
• ハッシュ化された特徴マップを $ \phi_i(x) = \sum_{j:h(j)=i} \xi(i) x_j $ と定義し、スパarsityを保持するとともに、射影行列の保存を回避する。
• ハッシュ化されたベクトル間の内積の歪みに対して指数的尾部バウンドを確立し、推定内積が真の値の周囲にきつく集中することを証明する。
• 各タスク $ u $ に対して異なるハッシュ関数 $ \phi_u $ を用いることで、ハッシュングフレームワークをマルチタスク学習に拡張し、圧縮された共有空間での同時学習を可能にする。
• グローバルコンponentが共通のスパムパターンを捉え、ローカルコンponentが個々のユーザーの好みに適応するグローバルローカルモデルアーキテクチャを採用する。
• ユーザーがラベル付きデータを提供し、パーソナライズド分類器の恩恵を受ける協調的メールスパムフィルタリングにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元特徴空間において、強い集中保証のもとで、内積の不偏かつ安定した近似が特徴ハッシュ化によって可能になるか？
• RQ2 多数のタスクを含むマルチタスク学習設定において、独立にハッシュ化された部分空間同士の干渉はどのように振る舞うか？
• RQ3 有限のメモリおよび計算制約のもとで、特徴ハッシュ化が大規模マルチタスク学習を効率的に行えるか？
• RQ4 数十万のユーザーを対象とした協調スパムフィルタリングにおいて、特徴ハッシュに基づくグローバルローカルモデルは、分類性能をどの程度向上させるか？

主な発見

• 提案されたハッシュカーネルは不偏であり、$ \mathbb{E}_\phi[\langle x, x' \rangle_\phi] = \langle x, x' \rangle $ を満たし、真の内積の一貫した推定を保証する。
• ハッシュ化された内積の歪みに対して指数的尾部バウンドが確立され、非ゼロ特徴の数が増えるに従い、大きな逸脱確率が指数関数的に減少することが示された。
• 独立にハッシュ化された部分空間間の干渉は、高い確率で無視できるほど小さく、数十万のタスクにわたる効果的なマルチタスク学習を可能にする。
• 協調スパムフィルタリングにおいて、最小限またはラベルなしのデータを持つユーザーも、グローバルコンponentのおかげで一般化性能が向上することでパーソナライズドな恩恵を受ける。
• 従来のカーネル法と比較して、メモリ使用量がはるかに少ない実世界のスパムデータセットにおいて、強力な分類性能を達成した。
• パーソナライズドモデルにおけるグローバル分類器は、完全にローカルなモデルよりも一般化性能が優れており、特にラベル付きデータが少ないユーザーにおいて顕著である。