[논문 리뷰] Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery

Cun Mu, Bo Huang외 2명|arXiv (Cornell University)|2013. 07. 22.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 225

한 줄 요약

이 논문은 낮은 질서의 텐서 복원을 위한 새로운 볼록 근사인 제곱노름 모델을 소개한다. 이 모델은 표준 합-핵심노름(SNN) 방법에 비해 샘플 복잡도를 크게 감소시킨다. 텐서를 낮은 질서의 저질서를 유지하면서 더 균형 잡힌 행렬로 재구성함으로써, 샘플 복잡도는 $O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$에 도달하며, 이는 SNN의 $ Omega(rn^{K-1})$보다 훨씬 우수하고 비볼록 기준에 가깝다.

ABSTRACT

Recovering a low-rank tensor from incomplete information is a recurring problem in signal processing and machine learning. The most popular convex relaxation of this problem minimizes the sum of the nuclear norms of the unfoldings of the tensor. We show that this approach can be substantially suboptimal: reliably recovering a $K$-way tensor of length $n$ and Tucker rank $r$ from Gaussian measurements requires $Ω(r n^{K-1})$ observations. In contrast, a certain (intractable) nonconvex formulation needs only $O(r^K + nrK)$ observations. We introduce a very simple, new convex relaxation, which partially bridges this gap. Our new formulation succeeds with $O(r^{\lfloor K/2 floor}n^{\lceil K/2 ceil})$ observations. While these results pertain to Gaussian measurements, simulations strongly suggest that the new norm also outperforms the sum of nuclear norms for tensor completion from a random subset of entries. Our lower bound for the sum-of-nuclear-norms model follows from a new result on recovering signals with multiple sparse structures (e.g. sparse, low rank), which perhaps surprisingly demonstrates the significant suboptimality of the commonly used recovery approach via minimizing the sum of individual sparsity inducing norms (e.g. $l_1$, nuclear norm). Our new formulation for low-rank tensor recovery however opens the possibility in reducing the sample complexity by exploiting several structures jointly.

연구 동기 및 목표

• 낮은 질서의 텐서 복원을 위한 널리 사용되는 합-핵심노름(SNN) 볼록 근사의 근본적 한계를 규명하는 것.
• SNN 모델을 사용한 신뢰할 수 있는 복원을 위해 필요한 가우시안 측정 수의 이론적 하한을 설정하는 것.
• 텐서의 공동 저질서 구조를 더 잘 활용하여 샘플 복잡도를 감소시키는 새로운 볼록 근사를 제안하는 것.
• 무작위 엔트리 부분집합으로부터의 텐서 완성에서 새로운 방법이 SNN를 능가하는 것을 경험적으로 입증하는 것.
• 다양한 구조가 신호에 동시에 존재할 때 개별 구조 유도 노름(예: 핵심노름)을 조합하는 것이 왜 최적성이 떨어지는지 밝혀내는 것.

제안 방법

• 텐서를 더 균형 잡힌 행렬 형태로 재구성하여 저질서 구조를 유지하는 방식으로 새로운 볼록 근사인 제곱노름 모델을 제안한다.
• 이 방법은 텐서 편개를 통해 얻은 균형 잡힌 행렬의 핵심노름으로 정의된 새로운 텐서 노름을 최소화한다.
• 이론적 분석을 통해 터커 질서가 $r$ 이하로 제한된 텐서의 고확률 복원을 위해 $O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$개의 가우시안 측정이 충분함을 보여준다.
• 다중 구조 신호 복원을 위한 일반적 프레임워크를 사용하여 SNN 모델에 대해 $ Omega(rn^{K-1})$ 측정의 하한을 유도한다.
• 일阶 최적화 방법을 사용하여 새로운 볼록 프로그램을 해결하며, 행렬 완성에 대해 증강 라그랑주 방법을 활용한 효율적 구현을 수행한다.
• 무작위 엔트리 샘플링을 통한 텐서 완성에서의 성능을 시뮬레이션을 통해 검증하며, 새로운 노름을 SNN와 비교한다.

실험 결과

연구 질문

• RQ1 낮은 질서의 텐서 복원을 위한 합-핵심노름(SNN) 모델의 근본적 샘플 복잡도 한계는 무엇인가?
• RQ2 공동 저질서 구조를 더 잘 활용하여 측정 요구량을 줄일 수 있는 새로운 볼록 근사를 설계할 수 있는가?
• RQ3 무작위 엔트리 샘플링을 통한 실질적 텐서 완성 작업에서 제곱노름 모델의 성능은 SNN와 어떻게 비교되는가?
• RQ4 다양한 구조가 동시에 존재할 때 개별 구조 유도 노름(예: 핵심노름)을 최소화하는 것이 왜 최적성이 떨어지는가?
• RQ5 비효율적인 비볼록 공식화에 가까운 성능을 달성할 수 있는 실용적인 볼록 근사를 설계하는 것은 가능한가?

주요 결과

• 합-핵심노름(SNN) 모델은 신뢰할 수 있는 복원을 위해 $ Omega(rn^{K-1})$개의 가우시안 측정이 필요하며, 이는 상당히 최적화되지 않은 결과이다.
• 제안된 제곱노름 모델은 샘플 복잡도 $O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$를 달성하여 SNN보다 상당한 개선을 이룬다.
• K \geq 4 이고 r 가 작을 경우, 새로운 방법의 샘플 복잡도는 SNN보다 비볼록 기준에 훨씬 가까워진다.
• 시뮬레이션 결과, 제곱노름 모델은 무작위 엔트리 부분집합으로부터의 텐서 완성에서 SNN를 능가하며, 성공적 복원 영역이 더 넓다.
• 이론적 분석을 통해 다수의 희박 구조를 가진 신호에서 개별 구조 유도 노름(예: $\ell_1$, 핵심노름)을 조합하는 것이 본질적으로 최적성이 떨어짐을 밝혀냈다.
• 새로운 방법은 공동 구조의 더 나은 활용이 샘플 복잡도를 상당히 감소시킬 수 있음을 보여주며, 최소 측정 수에 가까운 복원으로 향하는 길을 열어준다.