[논문 리뷰] Unified Scalable Equivalent Formulations for Schatten Quasi-Norms

Fanhua Shang, Yuanyuan Liu외 1명|arXiv (Cornell University)|2016. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 10

한 줄 요약

이 논문은 특정한 매개변수 조건 하에서 행렬의 요약-$$p$$ 준노름이 그 인수 행렬의 요약-노름의 곱 또는 가중합을 최소화하는 것과 등가임을 증명하여, 요약-$$p$$ 준노름에 대한 통합적이고 확장 가능한 등가 표현을 제시한다. $$p > 1/2$$ 인 경우, 요약-$$p$$ 준노름은 두 인수 행렬의 요약-$$2p$$ 노름을 최소화하는 것과 등가이며, 이는 반복적인 SVD나 EVD가 필요로 하지 않는 효율적이고 매끄러운 최적화를 가능하게 하여 기존의 요약-준노름 최소화 방법의 확장성 한계를 극복한다.

ABSTRACT

The Schatten quasi-norm can be used to bridge the gap between the nuclear norm and rank function, and is the tighter approximation to matrix rank. However, most existing Schatten quasi-norm minimization (SQNM) algorithms, as well as for nuclear norm minimization, are too slow or even impractical for large-scale problems, due to the SVD or EVD of the whole matrix in each iteration. In this paper, we rigorously prove that for any p, p1, p2>0 satisfying 1/p=1/p1+1/p2, the Schatten-p quasi-norm of any matrix is equivalent to minimizing the product of the Schatten-p1 norm (or quasi-norm) and Schatten-p2 norm (or quasi-norm) of its two factor matrices. Then we present and prove the equivalence relationship between the product formula of the Schatten quasi-norm and its weighted sum formula for the two cases of p1 and p2: p1=p2 and p1 eq p2. In particular, when p>1/2, there is an equivalence between the Schatten-p quasi-norm of any matrix and the Schatten-2p norms of its two factor matrices, where the widely used equivalent formulation of the nuclear norm can be viewed as a special case. That is, various SQNM problems with p>1/2 can be transformed into the one only involving smooth, convex norms of two factor matrices, which can lead to simpler and more efficient algorithms than conventional methods. We further extend the theoretical results of two factor matrices to the cases of three and more factor matrices, from which we can see that for any 0

연구 동기 및 목표

• 기존의 요약-준노름 최소화(SQNM) 알고리즘에서 반복 단계마다 비용이 많이 드는 특이값 분해(SVD) 또는 고유값 분해(EVD)에 의존하는 높은 계산 비용 문제를 해결하기 위해.
• 비연속적이며 비볼록 최적화를 피하고 대규모 계산에 효율적인 통합적이고 확장 가능한 요약-준노름 표현을 개발하기 위해.
• 핵심 노름(요약-1 노름의 특수 케이스)의 알려진 이항 스펙트럼 페널티를 임의의 요약-$$p$$ 준노름($$0 < p < 1$$)으로 일반화하기 위해.
• 두 인수 행렬에서의 등가성에서 세 인수 행렬 및 다중 인수 행렬 분해로의 확장을 통해, 임의의 $$0 < p < 1$$ 에 대해 매끄럽고 볼록 최적화를 가능하게 하기 위해.

제안 방법

• 모든 $$p, p_1, p_2 > 0$$ 이 $$1/p = 1/p_1 + 1/p_2$$ 를 만족할 때, 행렬 $$X$$ 의 요약-$$p$$ 준노름이 $$X = UV^T$$ 를 만족하는 두 인수 행렬 $$U$$ 와 $$V$$ 의 요약-$$p_1$$ 및 요약-$$p_2$$ 노름의 곱을 최소화하는 것과 등가임을 증명한다.
• $$p_1 = p_2$$ 와 $$p_1 \neq p_2$$ 의 두 경우에 대해 곱 표현식과 가중합 표현식 간의 등가성을 확립한다.
• $$p > 1/2$$ 인 경우, 요약-$$p$$ 준노름이 두 인수 행렬의 요약-$$2p$$ 노름을 최소화하는 것과 등가임을 보이며, 이는 비연속적이며 비볼록 문제를 매끄럽고 볼록 문제로 전환한다.
• 등가성을 세 개 이상의 인수 행렬으로 확장하여, 임의의 $$0 < p < 1$$ 에 대해 요약-$$p$$ 준노름이 모든 인수 행렬의 요약-$$((\lfloor 1/p \rfloor + 1)p)$$ 노름의 평균을 최소화하는 것과 등가임을 증명한다.
• 횔더 부등식과 라그랑주 승수법을 사용하여 등가성의 닫힌 형태 표현식을 유도함으로써 수학적 엄밀성과 일반성을 확보한다.
• 핵심 노름, 이핵심 노름, 프로베니우스/핵심 노름, 삼핵심 준노름 등은 제안된 프레임워크의 특수 케이스임을 보여준다.

실험 결과

연구 질문

• RQ1 모든 $$p > 0$$ 에 대해 요약-$$p$$ 준노름에 대한 통합적이고 확장 가능한 등가 표현을 유도할 수 있는가?
• RQ2 지수의 조화 평균 조건 하에서 요약-$$p$$ 준노름과 인수 행렬의 요약-노름의 곱 또는 가중합 간에 일반적인 등가성이 존재하는가?
• RQ3 등가성은 두 인수에서 세 개 또는 더 많은 인수로 확장될 수 있으며, 이 경우 $$0 < p < 1$$ 에 대해 매끄럽고 볼록성을 유지하는가?
• RQ4 제안된 표현식은 SQNM에서 반복적인 SVD 또는 EVD가 필요 없게 하여 대규모 최적화를 효율적으로 가능하게 하는가?
• RQ5 기존에 잘 알려진 준노름들인 핵심 노름, 이핵심 준노름, 삼핵심 준노름 등은 제안된 일반 프레임워크의 특수 케이스인가?

주요 결과

• 모든 $$p > 1/2$$ 에 대해 행렬의 요약-$$p$$ 준노름은 그 두 인수 행렬의 요약-$$2p$$ 노름을 최소화하는 것과 등가이며, 이는 비연속적이며 비볼록인 SQNM 문제를 매끄럽고 볼록 최적화 문제로 전환한다.
• 클래식한 핵심 노름 최소화 표현식 $$\|X\|_* = \min_{X=UV^T} (\|U\|_F^2 + \|V\|_F^2)/2$$ 는 $$p=1$$ 이고 $$p_1=p_2=2$$ 일 때 제안된 프레임워크의 특수 케이스이다.
• 모든 $$0 < p < 1$$ 에 대해 요약-$$p$$ 준노름은 $$\lfloor 1/p \rfloor + 1$$ 개의 인수 행렬의 요약-$$((\lfloor 1/p \rfloor + 1)p)$$ 노름의 평균을 최소화하는 것과 등가이며, 이는 매끄럽고 볼록한 노름을 통한 확장 가능한 최적화를 가능하게 한다.
• 횔더 부등식과 라그랑주 승수법를 사용하여 등가성이 엄밀하게 증명되었으며, 요약-준노름에 대한 일반적인 수학적 프레임워크를 구축하였다.
• 이전 연구에서 정의된 이핵심 준노름과 프로베니우스/핵심 준노름은 제안된 표현의 특수 케이스이며, 이는 그 일반성과 통합 능력을 검증한다.
• 제안된 표현식은 각 최적화 단계에서 반복적인 SVD 또는 EVD가 필요 없게 하여 대규모 저질서 행렬 복원 문제에 대해 훨씬 더 빠르고 확장 가능한 알고리즘을 가능하게 한다.