[논문 리뷰] Tensor Q-Rank: A New Data Dependent Tensor Rank.

Hao Kong, Zhouchen Lin|arXiv (Cornell University)|2019. 10. 26.

Tensor decomposition and applications참고 문헌 25인용 수 5

한 줄 요약

이 논문은 데이터에 따라 변하는 텐서 랭크인 텐서 Q-랭크를 제안한다. 이는 열이 정규직교인 행렬 𝒬를 통해 정의되며, 복잡한 데이터 구조에 적응한다. 𝒬를 데이터로부터 학습 가능하게 하고 설명 가능한 선택 방법을 사용함으로써, 기존의 튜벌-랭크 방법보다 낮은 랭크 표현을 달성하며, 높은 샘플링 비율과 복잡한 데이터 패턴 하에서 저랭크 텐서 복원 성능을 크게 향상시킨다.

ABSTRACT

Recently, the extit{Tensor Nuclear Norm~(TNN)} regularization based on t-SVD has been widely used in various low tubal-rank tensor recovery tasks. However, these models usually require smooth change of data along the third dimension to ensure their low rank structures. In this paper, we propose a new definition of tensor rank named extit{tensor Q-rank} by a column orthonormal matrix $\mathbf{Q}$, and further make $\mathbf{Q}$ data-dependent. We introduce an explainable selection method of $\mathbf{Q}$, under which the data tensor may have a more significant low tensor Q-rank structure than that of low tubal-rank structure. We also provide a corresponding envelope of our rank function and apply it to the low rank tensor completion problem. Then we give an effective algorithm and briefly analyze why our method works better than TNN based methods in the case of complex data with low sampling rate. Finally, experimental results on real-world datasets demonstrate the superiority of our proposed model in the tensor completion problem.

연구 동기 및 목표

• 세 번째 차원을 따라 비연속적인 변화를 보이는 복잡한 데이터를 다룰 때 기존의 텐서 핵노름(TNN)의 한계를 해결하기 위해.
• 실제 텐서 데이터의 저랭크 구조를 더 잘 포착할 수 있는 데이터에 의존하는 새로운 텐서 랭크 정의를 개발하기 위해.
• 저랭크 표현을 향상시키는 데 기여하는 정규직교 행렬 𝒬의 설명 가능한 선택 방법을 설계하기 위해.
• 실제 텐서 복원 최적화에 활용 가능한 제안된 랭크 함수의 볼록 봉우리(convex envelope)를 제공하기 위해.
• 낮은 샘플링 비율 하에서 TNN 기반 방법에 비해 뛰어난 성능을 보이는 저랭크 텐서 복원 성능을 입증하기 위해.

제안 방법

• 열이 정규직교인 행렬 𝒬를 사용하는 새로운 텐서 랭크인 텐서 Q-랭크를 제안하며, 이는 Q-변환된 텐서의 비영 특이값의 수를 통해 정의된다.
• 입력 텐서로부터 𝒬를 학습함으로써 𝒬를 데이터에 따라 의존적으로 만들고, 내재된 저랭크 구조를 더 잘 포착한다.
• 데이터 특성에 기반한 설명 가능한 𝒬 선택 전략을 도입하여 해석 가능성과 저랭크 표현 향상을 보장한다.
• 저랭크 텐서 복원에서 효율적인 최적화를 가능하게 하기 위해 텐서 Q-랭크 함수의 볼록 봉우리를 유도한다.
• 볼록 봉우리를 기반으로 한 효과적인 알고리즘을 개발하여 수렴 보장을 갖는 텐서 복원 문제를 해결한다.
• 최적화 문제를 효율적으로 해결하기 위해 프록시 반복 양자화 다중 승수법(ADMM) 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 데이터에 의존하는 텐서 랭크가 복잡하고 비연속적인 변화를 보이는 데이터에서 표준 튜벌-랭크 구조보다 저랭크 패턴을 더 잘 포착할 수 있는가?
• RQ2 정규직교 행렬 𝒬는 데이터의 내재된 구조에 적응하면서도 설명 가능한 방식으로 어떻게 선택할 수 있는가?
• RQ3 낮은 샘플링 비율 하에서 제안된 텐서 Q-랭크가 TNN 기반 방법에 비해 더 나은 저랭크 텐서 복원 성능을 보이는가?
• RQ4 텐서 Q-랭크 함수의 볼록 봉우리에 대한 이론적 근거는 무엇이며, 어떻게 효과적인 최적화를 가능하게 하는가?
• RQ5 데이터에 의존하는 𝒬는 고정되거나 사전 정의된 변환보다 어떤 상황에서 뚜렷한 이점을 제공하는가?

주요 결과

• 비연속적인 변화를 보이는 복잡한 데이터에 대해, 제안된 텐서 Q-랭크는 튜벌-랭크보다 유의미하게 낮은 랭크 표현을 달성한다.
• 데이터에 의존하는 𝒬 선택 방법은 TNN가 비균일하거나 급격한 데이터 변화로 인해 실패하는 경우에도 저랭크 구조 탐지 능력을 향상시킨다.
• 텐서 Q-랭크의 볼록 봉우리는 효과적이고 안정적인 최적화를 가능하게 하며, 텐서 복원 작업에서 더 빠른 수렴을 이끈다.
• 실제 데이터셋에 대한 실험 결과, 제안된 방법은 특히 낮은 샘플링 비율에서 복원 정확도 측면에서 TNN 기반 모델을 능가한다.
• 기존의 저랭크 텐서 복원 기법에 비해 실세계 텐서 데이터의 복잡하고 비연속적인 구조를 다루는 데 있어 뛰어난 강건성과 우수성을 입증한다.