[논문 리뷰] The Matrix Hilbert Space and Its Application to Matrix Learning

Yunfei Ye|arXiv (Cornell University)|2017. 06. 25.

Tensor decomposition and applications참고 문헌 2인용 수 5

한 줄 요약

이 논문은 행렬의 내적을 일반화하여 데이터의 구조적 및 다중 방향 상관관계를 유지하는 행렬 힐버트 공간 프레임워크를 제안한다. 재생 핵 힐버트 공간(RKHS)을 재생 핵 행렬 힐버트 공간(RKMHS)으로 확장함으로써, 기존의 RBF-SVM 및 인자 기반 커널과 비교하여 MNIST 및 Yale Face와 같은 벤치마크 데이터셋에서 분류 성능을 크게 향상시킨 새로운 행렬 커널의 가족을 도출한다.

ABSTRACT

Theoretical studies have proven that the Hilbert space has remarkable performance in many fields of applications. Frames in tensor product of Hilbert spaces were introduced to generalize the inner product to high-order tensors. However, these techniques require tensor decomposition which could lead to the loss of information and it is a NP-hard problem to determine the rank of tensors. Here, we present a new framework, namely matrix Hilbert space to perform a matrix inner product space when data observations are represented as matrices. We preserve the structure of initial data and multi-way correlation among them is captured in the process. In addition, we extend the reproducing kernel Hilbert space (RKHS) to reproducing kernel matrix Hilbert space (RKMHS) and propose an equivalent condition of the space uses of the certain kernel function. A new family of kernels is introduced in our framework to apply the classifier of Support Tensor Machine(STM) and comparative experiments are performed on a number of real-world datasets to support our contributions.

연구 동기 및 목표

• 행렬 내적 공간을 사용하여 행렬 구조 데이터를 위한 새로운 수학적 프레임워크를 개발하기.
• 텐서 분해의 한계를 극복하여 구조적 정보를 유지하고 NP-완전한 질량 결정 문제를 피하기.
• 재생 핵 힐버트 공간(RKHS)을 행렬 형태로 확장하여, 행렬에 대한 커널 기반 학습을 가능하게 하기.
• 다중 방향 상관관계를 포착하고 분류 성능을 향상시키는 새로운 행렬 커널의 가족을 설계하기.
• 실세계 데이터셋에서 제안된 프레임워크를 경험적으로 검증하여 기존의 행렬 및 텐서 기반 학습 방법보다 뛰어난 성능을 보여주기.

제안 방법

• 프로베니우스 노름과 행렬 프로베니우스 내적을 사용하여 스칼라 힐버트 공간 개념을 일반화하는 행렬 내적 공간 정의하기.
• 입력 행렬의 구조를 유지하는 완전한 행렬 내적 공간으로서의 행렬 힐버트 공간을 도입하기.
• 재생 성질을 만족하는 커널 함수를 통해 재생 핵 힐버트 공간(RKHS)을 재생 핵 행렬 힐버트 공간(RKMHS)으로 확장하기.
• 특정 커널 함수를 사용하여 RKMHS에 대한 등가 조건을 유도함으로써 새로운 행렬 커널의 구축을 가능하게 하기.
• 명시적 텐서 분해를 피하기 위해 교대 투영 기반 커널 트릭을 제안하여 행렬 커널을 효율적으로 계산하기.
• RKMHS 프레임워크 내에서 다항식 커널을 사용하여 새로운 행렬 커널을 구성하고, 이를 서포트 텐서 머신(STM) 분류기와 적용 가능하게 하기.

실험 결과

연구 질문

• RQ1 행렬 구조 데이터의 구조적 및 다중 방향 상관관계를 유지하기 위해 행렬 내적 공간을 체계적으로 정의할 수 있는가?
• RQ2 재생 핵 힐버트 공간(RKHS)을 비선형 학습을 지원하기 위해 행렬 값 함수로 일반화할 수 있는가?
• RQ3 커널 함수가 유효한 재생 핵 행렬 힐버트 공간(RKMHS)을 유도하기 위한 조건은 무엇인가?
• RQ4 제안된 행렬 커널 프레임워크는 기존의 텐서 및 행렬 기반 학습 방법과 비교해 분류 정확도 및 F1-스코어 측면에서 어떻게 성능을 내는가?
• RQ5 새로운 행렬 커널 프레임워크는 이진 및 다중 클래스 분류 과제에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 행렬 커널은 Yale Face 데이터셋에서 89.3%의 정확도와 0.892의 F-측정치를 기록하여, SVM-RBF(85.6% 정확도), 인자 커널(76.0% 정확도), MRMLKSVM(84.0% 정확도)를 뛰어넘었다.
• FingerDB 데이터셋에서는 신규 행렬 커널이 75.0%의 정확도와 0.741의 F-측정치를 기록하여, SVM-RBF(73.0% 정확도), 인자 커널(64.0% 정확도), MRMLKSVM(72.5% 정확도)를 초월했다.
• 이중 및 다중 클래스 분류 과제 전반에서 새로운 행렬 커널은 모든 기준 기반 방법보다 일관되게 뛰어난 성능을 보이며, 강건성과 효과성을 입증했다.
• 성능 향상은 분해 기반 방법이 구조적 정보를 상실하는 것과는 대조적으로, 행렬의 구조와 다중 방향 상관관계를 유지함에 기인한다.
• 실험 결과, 훈련 세트 크기가 커질수록 성능 향상이 관찰되었으며, 행렬 연산으로 인한 높은 계산 비용에도 불구하고 제안된 커널은 경쟁력이 있음을 보였다.
• 이 프레임워크는 분류 외에도 회귀, 군집, 순위 매기기 과제에 직접 적용 가능하며, 향후 확장 가능성의 넓은 잠재력을 보여준다.