[논문 리뷰] Learning Tensors in Reproducing Kernel Hilbert Spaces with Multilinear Spectral Penalties

Marco Signoretto, Lieven De Lathauwer외 1명|arXiv (Cornell University)|2013. 10. 18.

Tensor decomposition and applications참고 문헌 54인용 수 15

한 줄 요약

이 논문은 재생 커널 힐버트 공간에서 텐서 곱 함수를 학습하기 위한 커널 기반 프레임워크를 제안하며, 다중선형 스펙트럴 펜alties를 사용하여 텐서 완성, 전이 학습, 다중선형 다중작업 학습의 비선형 확장이 가능하다. 새로운 표현 정리와 블록 강하 알고리즘을 제안하였으며, 선호도 학습과 얼굴 동작 단위 강도 예측에서 선형 기준선 대비 뚜렷한 성능 향상을 보였다.

ABSTRACT

We present a general framework to learn functions in tensor product reproducing kernel Hilbert spaces (TP-RKHSs). The methodology is based on a novel representer theorem suitable for existing as well as new spectral penalties for tensors. When the functions in the TP-RKHS are defined on the Cartesian product of finite discrete sets, in particular, our main problem formulation admits as a special case existing tensor completion problems. Other special cases include transfer learning with multimodal side information and multilinear multitask learning. For the latter case, our kernel-based view is instrumental to derive nonlinear extensions of existing model classes. We give a novel algorithm and show in experiments the usefulness of the proposed extensions.

연구 동기 및 목표

• 텐서 곱 재생 커널 힐버트 공간(TP-RKHSs)에서 함수를 학습하기 위한 통합 커널 기반 프레임워크를 개발하는 것.
• 기존의 텐서 정규화 방법을 일반화하는 새로운 유형의 정규화자—다중선형 스펙트럴 페널티—를 도입하는 것.
• 커널 기반 기능 설정을 통해 텐서 완성 및 다중선형 다중작업 학습과 같은 선형 텐서 모델의 비선형 확장이 가능하도록 하는 것.
• 일반적인 다중선형 스펙트럴 페널티에 대해 유효한 표현 정리를 제공하여 샘플 외 예측을 지원하는 것.

제안 방법

• 텐서의 기능적 편개를 통해 유도된 다중선형 스펙트럴 페널티를 사용하여 TP-RKHS에서 정규화된 경험 위험 최소화 문제로 학습을 설정한다.
• 유한 차원 텐서 도구—예를 들어, 매트리시제이션과 다중선형 랭크—를 기능적 편개를 통해 무한 차원 함수로 일반화한다.
• 해결책이 유한 차원 텐서로 표현될 수 있음을 보장하는 새로운 표현 정리를 제안하여 실용적인 계산을 가능하게 한다.
• 기능적 편개의 핵심 범위 합과 다중선형 랭크 제약 조건을 동시에 포함하는 문제를 해결하기 위해 블록 강하 알고리즘을 도입한다.
• 특히 전이 학습 및 다중작업 학습 환경에서 데이터의 비선형 관계를 모델링하기 위해 커널 함수(예: 가우시안 RBF)를 활용한다.
• 기능적 편개를 사용하여 유한 차원 텐서의 핵심 범위와 유사한 스펙트럴 페널티를 정의하여 여러 모드에서 낮은 랭크 구조를 보장한다.

실험 결과

연구 질문

• RQ1 텐서 완성 및 다중선형 다중작업 학습과 같은 기존 텐서 학습 문제를 일반화하기 위한 통합 커널 기반 프레임워크를 개발할 수 있는가?
• RQ2 유한 차원 텐서에서의 스펙트럴 정규화는 재생 커널 힐버트 공간의 함수로 어떻게 확장될 수 있는가?
• RQ3 이 기능적 설정에서 최적의 해의 구조는 어떠한가? 그리고 다중선형 스펙트럴 페널티에 대해 표현 정리를 수립할 수 있는가?
• RQ4 이 커널 기반 설정에서 선형 텐서 모델의 비선형 확장은 자연스럽게 유도될 수 있는가?
• RQ5 제안된 방법은 실제 세계의 텐서 학습 과제에서 선형 기준선 대비 경험적으로 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 기존의 텐서 완성, 다중모odal 보조 정보를 사용한 전이 학습, 다중선형 다중작업 학습을 특수 케이스로 일반화한다.
• 선호도 학습 실험에서 RBF 커널을 사용한 Mlrank-SNN은 N=5000일 때 MSE를 10.8×10−3으로 줄여 LS-SVR(63.2×10−3)를 능가했다.
• 얼굴 동작 단위 강도 예측 실험에서 RBF-Mlrank-SNN은 N=700일 때 MSE를 0.118×10−3로 줄여 MLMTL-C(0.109×10−3)와 LS-SVR(0.200×10−3)를 모두 능가했다.
• 블록 강하 알고리즘은 핵심 범위 합과 다중선형 랭크 제약 조건을 동시에 포함하는 문제를 효과적으로 해결하여 확장 가능한 최적화를 가능하게 한다.
• 새로운 표현 정리는 해가 유한 차원 텐서로 표현될 수 있음을 보장하여 기능 문제의 계산 가능성을 확보한다.
• 커널 기반 설정은 선형 텐서 모델의 자연스러운 비선형 확장을 가능하게 하며, 경험적으로 성능 향상을 입증한다.