[논문 리뷰] Recovery Guarantees for Quadratic Tensors with Limited Observations

Hongyang Zhang, Vatsal Sharan외 2명|arXiv (Cornell University)|2018. 10. 31.

Tensor decomposition and applications참고 문헌 43인용 수 1

한 줄 요약

이 논문은 제한된 관측 조건 하에서 이차 텐서 모델의 복원 보장을 수립하며, 차원에 대해 선형적인 표본 복잡도로도 모든 국소 최솟값이 전역 최솟값임을 보여, 정확한 텐서 복원이 가능함을 입증한다. 또한 볼록 relaxation 방법을 통해도 선형 표본 수로 이차 텐서를 정확히 복원할 수 있음을 증명하며, 관측 수가 적은 상황에서 CP 모델보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

We consider the tensor completion problem of predicting the missing entries of a tensor. The commonly used CP model has a triple product form, but an alternate family of quadratic models which are the sum of pairwise products instead of a triple product have emerged from applications such as recommendation systems. Non-convex methods are the method of choice for learning quadratic models, and this work examines their sample complexity and error guarantee. Our main result is that with the number of samples being only linear in the dimension, all local minima of the mean squared error objective are global minima and recover the original tensor accurately. The techniques lead to simple proofs showing that convex relaxation can recover quadratic tensors provided with linear number of samples. We substantiate our theoretical results with experiments on synthetic and real-world data, showing that quadratic models have better performance than CP models in scenarios where there are limited amount of observations available.

연구 동기 및 목표

• 추천 시스템에서 점점 더 널리 사용되는 이차 텐서 모델의 텐서 완성 문제를 다루기 위해.
• 이차 텐서를 학습하기 위한 비볼록 최적화 방법의 표본 복잡도 및 오차 보장을 분석하기 위해.
• 선형 표본 복잡도 조건 하에서 평균 제곱오차 목적함수의 모든 국소 최솟값이 전역 최적임을 증명하기 위해.
• 동일한 선형 표본 조건 하에서 볼록 relaxation 방법이 이차 텐서를 정확히 복원할 수 있음을 보여주기 위해.
• 관측 수가 적은 조건에서 이차 모델이 CP 모델보다 성능이 뛰어나다는 것을 실험적으로 검증하기 위해.

제안 방법

• 이차 텐서 모델의 평균 제곱오차를 최소화하는 비볼록 최적화 프레임워크를 제안한다.
• 비볼록 목적함수의 최적화 경로를 분석하여, 표본 수가 선형일 경우 모든 국소 최솟값이 전역 최솟값임을 보여준다.
• 저랭크 행렬 및 텐서 복원 기법을 활용하여 이차 모델에 대한 이론적 보장을 유도한다.
• 대체 방법으로 볼록 relaxation을 적용하여, 동일한 선형 표본 조건 하에서 정확한 복원이 가능함을 증명한다.
• 합성 및 실세계 데이터 실험을 통해 제한된 관측 조건 하에서 CP 모델과의 성능을 비교한다.
• 비볼록 및 볼록 복원 방법 간의 이론적 연관성을 이차 텐서 모델에 대해 수립한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 방법이 선형 표본 복잡도로만 이차 텐서를 복원할 수 있는가?
• RQ2 제한된 관측 조건 하에서 이차 텐서 모델의 평균 제곱오차 목적함수의 모든 국소 최솟값이 전역 최적인지 여부는?
• RQ3 볼록 relaxation 방법이 선형 표본 수로 이차 텐서를 정확히 복원할 수 있는가?
• RQ4 관측 수가 적은 조건에서 이차 텐서 모델은 CP 모델에 비해 성능이 뛰어나게 되는가?
• RQ5 이차 모델을 사용한 텐서 완성에 대해 어떤 이론적 보장을 수립할 수 있는가?

주요 결과

• 표본 수가 텐서 차원에 대해 선형일 경우, 비볼록 평균 제곱오차 목적함수의 모든 국소 최솟값이 전역 최적임을 보여, 정확한 복원이 보장된다.
• 표본 수가 차원에 대해 선형적으로 증가할 경우, 볼록 relaxation 방법 역시 이차 텐서를 정확히 복원한다.
• 비볼록 및 볼록 설정 모두에서 복원 보장을 위한 간단한 증명을 이론적으로 제공한다.
• 합성 및 실세계 데이터에 대한 실험 결과, 관측 수가 적은 조건에서 이차 모델이 CP 모델보다 뛰어난 성능을 보임을 확인한다.
• 결과적으로 데이터가 부족한 상황에서 이차 모델이 CP 모델보다 표본 효율성이 뛰어나다는 것을 보여준다.
• 최소한의 가정 하에서도 복원 보장이 유지되어, 제한된 관측 조건에 대해 강건한 방법임을 입증한다.