[論文レビュー] CoRE Kernels

Ping Li|arXiv (Cornell University)|Apr 24, 2014

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 4

ひとこと要約

この論文は、視覚応用分野における高次元でスパース、非二値のデータに適した、非線形相関類似度カーネルの新規クラスであるCoREカーネルを導入する。確率的ハッシュ化を活用して非線形カーネルを線形カーネルに変換することで、チューニングパラメータが不要な効率的なカーネルSVMのトレーニングが可能となり、大規模産業用途におけるスケーラビリティが顕著に向上する。

ABSTRACT

The term stands for correlation-resemblance kernel. In many applications (e.g., vision), the data are often high-dimensional, sparse, and non-binary. We propose two types of (nonlinear) CoRE kernels for non-binary sparse data and demonstrate the effectiveness of the new kernels through a classification experiment. CoRE kernels are simple with no tuning parameters. However, training nonlinear kernel SVM can be (very) costly in time and memory and may not be suitable for truly large-scale industrial applications (e.g. search). In order to make the proposed CoRE kernels more practical, we develop basic probabilistic hashing algorithms which transform nonlinear kernels into linear kernels.

研究の動機と目的

• 視覚および産業応用で一般的な高次元でスパース、非二値のデータへの非線形カーネル手法の適用という課題に対処すること。
• 高い分類精度を維持しつつ、ハイパーパramータチューニングを一切必要としないカーネル手法を開発すること。
• 確率的ハッシュ化を用いて非線形カーネルを線形同等に変換することで、カーネルSVMのスケーラビリティを向上させること。
• トレーニングコストとメモリ使用量が非効率的である大規模システムにおけるカーネル手法の実用的導入を可能とすること。

提案手法

• 非二値のスパースデータ向けに、相関と類似度測定に基づく2種類の非線形CoREカーネルを提案する。
• 確率的ハッシュ化を用いて非線形カーネル関数を線形射影に近似し、計算複雑性を低減する。
• 特定のハッシュスキームを用いたランダム射影を活用し、変換空間におけるカーネル類似度を保持する。
• 得られた線形カーネルを標準的なカーネルSVMトレーニングに適用し、効率的な最適化を可能にする。
• ハッシュ処理を設計して、元の非線形カーネルの識別力の維持を図る。

実験結果

リサーチクエスチョン

• RQ1 チューニングパラメータが不要な非線形カーネルを構築できるか。そのカーネルは、スパースで非二値のデータにおける相関と類似度を効果的にモデル化できるか。
• RQ2 非線形カーネル手法を、検索システムのような大規模産業用途にスケーラブルにできるか。
• RQ3 確率的ハッシュ化を用いて非線形カーネルを線形形式に変換する際、性能がどの程度保持されるか。
• RQ4 提案手法は、トレーニング時間とメモリ使用量を著しく削減しながらも、高い分類精度を維持できるか。

主な発見

• CoREカーネルは、ハイパーパramータチューニングを一切必要とせず、スパースで非二値のデータにおいて高い分類精度を達成する。
• 確率的ハッシュ化により、非線形CoREカーネルが線形同等に効果的に変換され、効率的なカーネルSVMトレーニングが可能になる。
• 標準的な非線形カーネルSVMと比較して、トレーニング時間とメモリ消費量が顕著に削減される。
• 本手法は、ウェブ規模の検索システムのような大規模産業応用分野においてもスケーラブルかつ実用的である。