[論文レビュー] D2KE: From Distance to Kernel and Embedding

Lingfei Wu, Ian En-Hsu Yen+3 more|arXiv (Cornell University)|Feb 14, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 25

ひとこと要約

本稿では、任意の非類似度測度を正定値カーネルおよび対応するベクトル埋め込みに変換するフレームワークD2KEを提案する。このフレームワークにより、系列や集合などの構造的入力データに対し、効果的なカーネル法が可能になる。距離測度に基づくランダム特徴マップを構築することで、再現核ヒルバート空間（RKHS）におけるリプシッツ連続関数を保証し、時系列、文字列、画像データの各分野においてk-NNや他の距離ベース手法よりも優れた汎化性能と効率性を達成する。

ABSTRACT

For many machine learning problem settings, particularly with structured inputs such as sequences or sets of objects, a distance measure between inputs can be specified more naturally than a feature representation. However, most standard machine models are designed for inputs with a vector feature representation. In this work, we consider the estimation of a function $f:\mathcal{X} ightarrow \R$ based solely on a dissimilarity measure $d:\mathcal{X} imes\mathcal{X} ightarrow \R$ between inputs. In particular, we propose a general framework to derive a family of \emph{positive definite kernels} from a given dissimilarity measure, which subsumes the widely-used \emph{representative-set method} as a special case, and relates to the well-known \emph{distance substitution kernel} in a limiting case. We show that functions in the corresponding Reproducing Kernel Hilbert Space (RKHS) are Lipschitz-continuous w.r.t. the given distance metric. We provide a tractable algorithm to estimate a function from this RKHS, and show that it enjoys better generalizability than Nearest-Neighbor estimates. Our approach draws from the literature of Random Features, but instead of deriving feature maps from an existing kernel, we construct novel kernels from a random feature map, that we specify given the distance measure. We conduct classification experiments with such disparate domains as strings, time series, and sets of vectors, where our proposed framework compares favorably to existing distance-based learning methods such as $k$-nearest-neighbors, distance-substitution kernels, pseudo-Euclidean embedding, and the representative-set method.

研究の動機と目的

• 特徴表現が定義しにくいが非類似度測度が自然な構造的入力（例：系列、集合）に対して標準的な機械学習モデルを適用する課題に対処すること。
• 与えられた非類似度測度から直接正定値カーネルとベクトル埋め込みを導出する一般化フレームワークを開発し、理論的整合性と向上した汎化性能を確保すること。
• k-NN（高い分散）や不定カーネル（非凸最適化）といった既存の距離ベース手法の限界を克服し、距離から真正の正定値カーネルを構築すること。
• データサイズおよび入力長に対して線形時間計算量を達成する実行可能アルゴリズムを設計することで、効率的かつスケーラブルな学習を可能にすること。

提案手法

• D2KEは、入力の非類似度測度に基づくランダム特徴マップを構築し、各インスタンスを再現核ヒルバート空間（RKHS）内のベクトル表現に写像する。
• フレームワークは、非類似度測度から正定値カーネルの族を導出し、代表集合法を特殊ケースとして含み、極限状態では距離置換カーネルと関連する。
• これにより、得られるRKHS内に存在するすべての関数が、与えられた距離測度に関してリプシッツ連続であることが保証され、汎化性能が向上する。
• 特徴量は、距離から導かれる分布からのランダムサンプリングによって生成され、明示的な固有値分解や行列クリッピングの必要がなくなる。
• 実行可能推定器が提案され、データ数N、ランダム特徴数R、入力長Lを用いて、線形時間計算量O(NRL)での効率的学習が可能になる。
• 任意の非類似度が定義された入力に対して有効なベクトル表現を提供するため、標準的なカーネル法（例：SVM、リッジ回帰）が利用可能になる。

実験結果

リサーチクエスチョン

• RQ1 特徴表現を事前に定義することなく、非類似度測度から直接正定値カーネルとベクトル埋め込みを導出できる一般化フレームワークを開発できるか？
• RQ2 得られたカーネルが、入力距離測度に関してRKHS内関数がリプシッツ連続であることをどのように保証できるか？
• RQ3 このようなフレームワークは、精度および計算効率の両面でk-NNや他の距離ベース学習手法を上回ることができるか？
• RQ4 D2KEの性能は、距離置換カーネル、擬似ユークリッド埋め込み、代表集合法といった既存手法と比較して、多様な構造的データドメインでどのように異なるか？

主な発見

• D2KEは全データセットでk-NNを常に上回り、予測の汎化性能が著しく高く、分散が小さいことが示された。
• 時系列データでは、Auslanで92.60%、pentipで99.88%の精度を達成し、DSK_RBFやDSK_NDを含むすべてのベースラインを上回った。
• 文字列分類では、mnist-str4で98.76%、mnist-str8で98.54%の精度を達成し、計算コストが低いにもかかわらずRSMやGDK_LEDを上回った。
• 画像分類では、flowerで46.03%、decorで68.76%の精度を達成し、RSMやDSK_NDを上回り、SVDベース手法よりも著しく高速だった。
• D2KEは線形時間計算量O(NRL)を達成し、DSK_ND や RSM といった二次以降の計算量を要する手法とは異なり、大規模データセットや長い系列に対してもスケーラブルである。
• ランダム特徴数Rの増加に伴い性能が向上し、最適な性能はR ∈ [4, 4096] の範囲で達成されることが示され、正確なカーネルへの収束が強く示された。