[논문 리뷰] Min-Max Kernels.

Ping Li|arXiv (Cornell University)|2015. 03. 05.

Face and Expression Recognition참고 문헌 23인용 수 3

한 줄 요약

이 논문은 새로운 0비트 해싱 기법을 통해 최소-최대 커널의 선형화를 제안하며, SVM 및 로지스틱 회귀와 같은 선형 모델을 사용한 대규모 분류를 효율적으로 가능하게 한다. 이 방법은 일致된 가중 샘플링(CWS)에서 이론적으로 유계가 아닌 $t^*$ 성분을 기각하면서도 핵심적인 유사성 정보를 유지하여 다양한 비음수 데이터 세트에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

The min-max kernel is a generalization of the popular resemblance kernel (which is designed for binary data). In this paper, we demonstrate, through an extensive classification study using kernel machines, that the min-max kernel often provides an effective measure of similarity for nonnegative data. As the min-max kernel is nonlinear and might be difficult to be used for industrial applications with massive data, we show that the min-max kernel can be linearized via hashing techniques. This allows practitioners to apply min-max kernel to large-scale applications using well matured linear algorithms such as linear SVM or logistic regression. The previous remarkable work on consistent weighted sampling (CWS) produces samples in the form of ($i^*, t^*$) where the $i^*$ records the location (and in fact also the weights) information analogous to the samples produced by classical minwise hashing on binary data. Because the $t^*$ is theoretically unbounded, it was not immediately clear how to effectively implement CWS for building large-scale linear classifiers. In this paper, we provide a simple solution by discarding $t^*$ (which we refer to as the scheme). Via an extensive empirical study, we show that this 0-bit scheme does not lose essential information. We then apply the CWS for building linear classifiers to approximate min-max kernel classifiers, as extensively validated on a wide range of publicly available classification datasets. We expect this work will generate interests among data mining practitioners who would like to efficiently utilize the nonlinear information of non-binary and nonnegative data.

연구 동기 및 목표

• 대규모 비음수 데이터를 가진 산업 응용 분야에 비선형 최소-최대 커널을 적용하는 데 도전하는 것.
• 대규모 선형 분류기에서 일관된 가중 샘플링(CWS)의 이론적으로 유계가 아닌 $t^*$ 성분을 처리하는 데 있어 비현실적인 점을 극복하는 것.
• t^*를 저장하지 않으면서도 비선형 유사성 정보를 유지하는 실용적인 해싱 기반 최소-최대 커널의 선형화를 개발하는 것.
• 기본적인 선형 알고리즘을 사용하여 최소-최대 커널 분류기를 근사하는 데 있어 제안된 0비트 기법의 효과성을 검증하는 것.
• 데이터 마이닝 전문가들이 확장 가능한 환경에서 비이진, 비음수 데이터에 대해 비선형 유사성을 효율적으로 활용할 수 있도록 하는 것.

제안 방법

• 비음수 데이터의 경우에 대해 최소와치 해싱(minwise hashing)과 유사하게 ($i^*$, $t^*$) 형태의 샘플을 생성하기 위해 일관된 가중 샘플링(CWS)을 적응시키는 것.
• 이론적으로 유계가 아니며 대규모 배포에 비현실적인 $t^*$ 성분을 기각하는 0비트 기법을 제안하는 것.
• 샘플을 나타내기 위해 인덱스 $i^*$ (위치 및 가중치 정보)만을 사용하여 저장 및 계산 오버헤드를 효과적으로 줄이는 것.
• 결과로 생성된 해시 벡터를 사용하여 최소-최대 커널 분류기의 근사치로 선형 분류기(예: 선형 SVM, 로지스틱 회귀)를 훈련하는 것.
• 비선형 최소-최대 커널의 성질을 선형화된 표현 방식을 통해 핵심적인 유사성 구조를 유지하는 것.
• 기본 머신러닝 파ip라인을 사용하여 다양한 공개 분류 데이터 세트에서 광범위한 경험적 평가를 수행하여 방법을 검증하는 것.

실험 결과

연구 질문

• RQ1 이론적으로 유계가 아닌 $t^*$ 성분을 기각함으로써 비선형 최소-최대 커널을 대규모 응용 분야에 효과적으로 선형화할 수 있는가?
• RQ2 일관된 가중 샘플링(CWS)에서 $t^*$ 성분을 기각하는 것이 비음수 데이터에 대해 정확한 선형 분류기를 구축하는 데 가능할 수 있는가?
• RQ3 실제로 0비트 해싱 기법이 전체 최소-최대 커널 분류기의 성능을 얼마나 잘 근사하는가?
• RQ4 제안된 해시 표현에 기반한 선형 모델이 비음수 데이터에서 커널 방법과 비교해 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ5 대규모 환경에서 직접 최소-최대 커널 계산에 비해 0비트 기법이 얼마나 확장 가능하고 효율적인가?

주요 결과

• 이론적으로 유계가 아닌 $t^*$ 성분을 기각하는 0비트 기법이 핵심적인 유사성 정보를 유지하면서 효과적인 선형 분류를 가능하게 한다.
• 제안된 해시 표현에 기반한 선형 분류기가 다양한 비음수 데이터 세트에서 전체 최소-최대 커널 분류기와 경쟁 가능한 성능을 달성한다.
• 성숙한 선형 알고리즘을 활용하여 최소-최대 커널 기반의 유사성 기반 확장 가능한 배포를 산업 응용 분야에서 가능하게 한다.
• 경험적 평가 결과, 선형화된 접근 방식이 저장 및 계산 비용을 크게 줄이면서도 높은 정확도를 유지함을 확인했다.
• 다양한 공개 데이터 세트에서의 결과는 이 방법이 특정 데이터 유형이나 도메인을 초월해 일반화 가능함을 보여준다.
• 결과적으로 최소-최대 커널의 비선형 유사성은 성능 저하 없이 선형화를 통해 대규모 환경에서 효율적으로 활용될 수 있음을 시사한다.