[論文レビュー] Min-Max Kernels.

Ping Li|arXiv (Cornell University)|Mar 5, 2015

Face and Expression Recognition参考文献 23被引用数 3

ひとこと要約

本稿では、新しい0ビットハッシュ化方式を用いて最小最大カーネルを線形化し、SVM やロジスティック回帰などの線形モデルを用いたスケーラブルな大規模分類を可能にする。この手法は、一貫した重み付きサンプリング（CWS）における理論的に有界でない$t^*$成分を破棄しながらも、必要な類似性情報を保持し、多様な非負のデータセットで競争力ある性能を達成する。

ABSTRACT

The min-max kernel is a generalization of the popular resemblance kernel (which is designed for binary data). In this paper, we demonstrate, through an extensive classification study using kernel machines, that the min-max kernel often provides an effective measure of similarity for nonnegative data. As the min-max kernel is nonlinear and might be difficult to be used for industrial applications with massive data, we show that the min-max kernel can be linearized via hashing techniques. This allows practitioners to apply min-max kernel to large-scale applications using well matured linear algorithms such as linear SVM or logistic regression. The previous remarkable work on consistent weighted sampling (CWS) produces samples in the form of ($i^*, t^*$) where the $i^*$ records the location (and in fact also the weights) information analogous to the samples produced by classical minwise hashing on binary data. Because the $t^*$ is theoretically unbounded, it was not immediately clear how to effectively implement CWS for building large-scale linear classifiers. In this paper, we provide a simple solution by discarding $t^*$ (which we refer to as the scheme). Via an extensive empirical study, we show that this 0-bit scheme does not lose essential information. We then apply the CWS for building linear classifiers to approximate min-max kernel classifiers, as extensively validated on a wide range of publicly available classification datasets. We expect this work will generate interests among data mining practitioners who would like to efficiently utilize the nonlinear information of non-binary and nonnegative data.

研究の動機と目的

• 大規模な産業応用において、巨視的な非負のデータを対象とした非線形最小最大カーネルの適用という課題に取り組むこと。
• 大規模な線形分類器において、理論的に有界でない$t^*$成分を扱うことが現実的でないという問題を克服すること。
• $t^*$を保存せず、非線形類似性情報を保持する実用的なハッシュベースの最小最大カーネルの線形化を構築すること。
• 提案された0ビット方式が、標準的な線形アルゴリズムを用いて最小最大カーネル分類器を近似できるかを検証すること。
• データマイニングの実務家が、スケーラブルな環境下で非二値・非負のデータに対して非線形類似性を効率的に活用できるようにすること。

提案手法

• 非負のデータに対して、バイナリデータのミニワイズハッシュに類似した形で、($i^*$, $t^*$) の形のサンプルを生成する一貫した重み付きサンプリング（CWS）の適用。
• 理論的に有界でない$t^*$成分を破棄する0ビット方式の提案。
• $i^*$（位置と重み情報）のみを用いてサンプルを表現することで、ストレージと計算コストを効果的に削減する。
• 得られたハッシュベクトルを用いて、線形SVM やロジスティック回帰などの線形分類器を訓練し、最小最大カーネル分類器の近似を実現する。
• 非線形性を保持する線形化表現を用いて、最小最大カーネルの本質的な類似性構造を再現する。
• 標準的な機械学習パイプラインを用いた、多様な公開分類データセットにおける広範な実証的評価を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 理論的に有界でない$t^*$を破棄することで、類似性情報の損失を最小限に抑えつつ、最小最大カーネルを大規模応用に適した線形化が可能か？
• RQ2 一貫した重み付きサンプリング（CWS）における$t^*$成分の破棄が、非負のデータに対して正確な線形分類器を構築する上で実用的か？
• RQ3 実際の応用において、0ビットハッシュ化方式は、完全な最小最大カーネル分類器の性能をどれほど正確に近似できるか？
• RQ4 提案されたハッシュ表現に基づいて訓練された線形モデルは、非負のデータに対して、カーネル法と比較して競争力ある精度を達成できるか？
• RQ5 大規模な環境下において、直接的な最小最大カーネル計算と比較して、0ビット方式はスケーラビリティと効率性でどの程度の利点を示すか？

主な発見

• 理論的に有界でない$t^*$を破棄する0ビット方式は、本質的な類似性情報を保持し、効果的な線形分類を可能にする。
• 提案されたハッシュ表現に基づいて訓練された線形分類器は、多様な非負のデータセットにおいて、完全な最小最大カーネル分類器と同等の性能を達成する。
• 成熟した線形アルゴリズムを活用することで、産業応用における最小最大カーネルに基づく類似性のスケーラブルな展開を可能にする。
• 実証的評価により、線形化アプローチがストレージと計算コストを著しく削減しながらも、高い精度を維持することが確認された。
• 本手法は多様な公開データセットに対して頑健であり、特定のデータタイプや分野に限定されない汎用性を示した。
• 結果から、最小最大カーネルの非線形類似性は、性能の著しい低下を伴わずに、線形化によって大規模環境で効率的に活用可能であると示唆される。