[논문 리뷰] D2KE: From Distance to Kernel and Embedding

Lingfei Wu, Ian En-Hsu Yen외 3명|arXiv (Cornell University)|2018. 02. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 25

한 줄 요약

이 논문은 D2KE라는 프레임워크를 제안하며, 임의의 비유사도 측정법을 양의 정부호 커널과 그에 해당하는 벡터 표현으로 변환함으로써, 시퀀스와 집합과 같은 구조적 입력에 대해 효과적인 커널 방법을 가능하게 한다. 거리 측정법을 바탕으로 한 무작위 특징 맵을 구성함으로써 D2KE는 재생 커널 힐버트 공간(RKHS) 내의 리프시츠 연속 함수를 보장하고, 시간 시리즈, 문자열, 이미지 데이터셋에서 k-NN 및 기타 기반 거리 방법보다 뛰어난 일반화 성능과 효율성을 달성한다.

ABSTRACT

For many machine learning problem settings, particularly with structured inputs such as sequences or sets of objects, a distance measure between inputs can be specified more naturally than a feature representation. However, most standard machine models are designed for inputs with a vector feature representation. In this work, we consider the estimation of a function $f:\mathcal{X} ightarrow \R$ based solely on a dissimilarity measure $d:\mathcal{X} imes\mathcal{X} ightarrow \R$ between inputs. In particular, we propose a general framework to derive a family of \emph{positive definite kernels} from a given dissimilarity measure, which subsumes the widely-used \emph{representative-set method} as a special case, and relates to the well-known \emph{distance substitution kernel} in a limiting case. We show that functions in the corresponding Reproducing Kernel Hilbert Space (RKHS) are Lipschitz-continuous w.r.t. the given distance metric. We provide a tractable algorithm to estimate a function from this RKHS, and show that it enjoys better generalizability than Nearest-Neighbor estimates. Our approach draws from the literature of Random Features, but instead of deriving feature maps from an existing kernel, we construct novel kernels from a random feature map, that we specify given the distance measure. We conduct classification experiments with such disparate domains as strings, time series, and sets of vectors, where our proposed framework compares favorably to existing distance-based learning methods such as $k$-nearest-neighbors, distance-substitution kernels, pseudo-Euclidean embedding, and the representative-set method.

연구 동기 및 목표

• 구조적 입력(예: 시퀀스, 집합)에 표준 기계학습 모델을 적용하는 데 있어, 특징 표현이 정의하기 어려우나 비유사도 측정법은 천연적으로 존재하는 문제에 대응하기 위해.
• 주어진 비유사도 측정법에서 직접적으로 양의 정부호 커널과 벡터 표현을 유도하는 일반적인 프레임워크를 개발하여 이론적 일관성과 향상된 일반화 성능을 확보하기 위해.
• k-NN(고도의 분산) 및 비정규 커널(비볼록 최적화) 등의 기존 기반 거리 방법의 한계를 극복하기 위해, 거리에서 진정으로 양의 정부호 커널을 구성하기 위해.
• 데이터 크기와 입력 길이에 대해 선형 복잡도를 가지는 구현 가능한 알고리즘을 설계하여 효율적이고 확장 가능한 학습을 가능하게 하기 위해.

제안 방법

• D2KE는 입력 비유사도 측정법을 기반으로 한 무작위 특징 맵을 구성하여, 각 인스턴스를 재생 커널 힐버트 공간(RKHS) 내의 벡터 표현으로 매핑한다.
• 프레임워크는 비유사도 측정법에서 양의 정부호 커널의 가족을 도출하며, 대표 집합 방법을 특수 케이스로 포함하고, 한계 경우에서는 거리 대체 커널과 관련된다.
• 결과로 도출된 RKHS 내 모든 함수가 주어진 거리 측정법에 대해 리프시츠 연속성을 보장하여 일반화 성능을 향상시킨다.
• 명시적 고유값 분해나 행렬 클리핑이 필요 없도록, 거리에서 유도된 분포로부터의 무작위 샘플링을 사용하여 특징를 생성한다.
• 선형 시간 복잡도 O(NRL)을 가지는 효율적인 추정기 알고리즘을 제안하며, 여기서 N은 샘플 수, R은 무작위 특징 수, L은 입력 길이이다.
• 정의된 비유사도 측정법이 있는 임의의 입력에 대해 유효한 벡터 표현을 제공함으로써, 표준 커널 방법(SVM, 리지 회귀 등)을 지원한다.

실험 결과

연구 질문

• RQ1 정의된 특징 표현이 필요 없이 비유사도 측정법에서 직접적으로 양의 정부호 커널과 벡터 표현을 도출할 수 있는 일반적 프레임워크를 개발할 수 있는가?
• RQ2 유도된 커널이 RKHS 내 함수들이 입력 거리 측정법에 대해 리프시츠 연속성을 보장할 수 있는가?
• RQ3 이러한 프레임워크가 정확도와 계산 효율성 측면에서 k-NN 및 기타 기반 거리 학습 방법을 능가할 수 있는가?
• RQ4 다양한 구조적 데이터 도메인에서 D2KE의 성능은 거리 대체 커널, 의사 유클리드 표현, 대표 집합 방법과 비교해 어떻게 되는가?

주요 결과

• D2KE는 모든 데이터셋에서 k-NN를 일관되게 능가하여 예측의 일반화 성능이 뛰어나고 분산이 낮음을 입증한다.
• 시간 시리즈 데이터에서, D2KE는 Auslan에서 92.60%의 정확도와 pentip에서 99.88%의 정확도를 달성하여 DSK_RBF 및 DSK_ND를 포함한 모든 베이스라인을 뛰어넘는다.
• 문자열 분류에서, D2KE는 mnist-str4에서 98.76%의 정확도와 mnist-str8에서 98.54%의 정확도를 기록하며, 더 낮은 계산 비용에도 불구하고 RSM과 GDK_LED를 능가한다.
• 이미지 분류에서, D2KE는 flower에서 46.03%의 정확도와 decor에서 68.76%의 정확도를 기록하며 RSM과 DSK_ND를 능가하지만, SVD 기반 방법보다 훨씬 빠르다.
• D2KE는 선형 시간 복잡도 O(NRL)을 가지며, DSK_ND나 RSM과 같은 이차 이상 복잡도 방법과 달리 대규모 데이터셋과 긴 시퀀스에 대해 확장 가능하다.
• 무작위 특징 수 R이 증가할수록 성능이 향상되며, 최적의 성능는 R이 [4, 4096] 범위에서 달성되며, 정확한 커널에 강한 수렴성을 보여준다.