[논문 리뷰] Low-Rank Matrix Completion using Nuclear Norm with Facial Reduction

Shimeng Huang, Henry Wolkowicz|arXiv (Cornell University)|2016. 08. 15.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 최적해에서 숨겨진 저질서 구조를 활용하여 저질서 행렬 복원 문제에 대한 핵노름 최소화를 가속화하는 얼굴 감소(facial reduction) 접근법을 제안한다. 관측 데이터 그래프 내 클리크를 식별하고 노출 벡터를 계산하여, 정류형 프로그램(SDP)의 크기를 크게 줄임으로써 더 빠르고 정확한 해를 도출한다. 특히 노이즈가 있는 경우와 대규모 문제에 매우 효과적이다.

ABSTRACT

Minimization of the nuclear norm is often used as a surrogate, convex relaxation, for finding the minimum rank completion (recovery) of a partial matrix. The minimum nuclear norm problem can be solved as a trace minimization semidefinite programming problem, (SDP). The SDP and its dual are regular in the sense that they both satisfy strict feasibility. Interior point algorithms are the current methods of choice for these problems. This means that it is difficult to solve large scale problems and difficult to get high accuracy solutions. In this paper we take advantage of the structure at optimality for the minimum nuclear norm problem. We show that even though strict feasibility holds, the facial reduction framework can be successfully applied to obtain a proper face that contains the optimal set, and thus can dramatically reduce the size of the final nuclear norm problem while guaranteeing a low-rank solution. We include numerical tests for both exact and noisy cases. In all cases we assume that knowledge of a target rank is available.

연구 동기 및 목표

• 핵노름 최소화를 통한 볼록 완화를 활용하여 저질서 행렬 복원(LRMC)의 계산 불가능성을 해결한다.
• 최적해 집합 내 구조적 퇴화를 활용하여 대규모 LRMC 문제에서 표준 내점법의 비효율성을 극복한다.
• 엄격한 타당성이 성립하더라도 최적해를 포함하는 저차원 얼굴을 식별하는 얼굴 감소 프레임워크를 개발한다.
• 차원 감소 및 정밀 조정 기법을 통해 노이즈가 있는 대규모 행렬 복원 문제를 효율적으로 해결한다.
• 과다정의 문제에 대해 얼굴 감소와 매개변수 조정, 스케칭을 조합하여 정확한 복원과 노이즈에 강건한 방법을 제공한다.

제안 방법

• 관측된 행렬 원소의 그래프 표현을 사용하여 가중 무방향 그래프 $G=(V,E,w)$ 내의 클리크를 식별하여 구조적 의존성을 인코딩한다.
• 클리크 가중치 $u_X^i$와 노출 벡터 가중치 $w_X^i$를 계산하여 얼굴 감소의 부분공간을 결정하며, 최적해가 저차원 얼굴에 존재한다는 사실을 활용한다.
• 핵노름 최소화의 정류형 프로그램(SDP) 설정에 얼굴 감소를 적용하여 변수 차원을 줄이되 최적성을 유지한다.
• 노이즈가 있는 데이터의 경우 문제를 정류형 최소 제곱 문제로 변환하고 스케칭 행렬을 사용하여 크기를 줄여 제약 조건 제거를 피한다.
• 얼굴 감소 이후 이중 승수를 활용한 매개변수 조정 단계를 적용하여 정확도를 향상시키며, 특히 노이즈가 있는 환경에서 유의미하다.
• 참고 문헌 [3]의 노출 벡터 접근법을 활용하여 엄격한 타당성이 성립하더라도 최적해를 포함하는 최소 얼굴을 체계적으로 식별한다.

실험 결과

연구 질문

• RQ1 엄격한 타당성이 성립함에도 불구하고 얼굴 감소가 핵노름 최소화에 대해 저질서 행렬 복원에 효과적으로 적용될 수 있는가?
• RQ2 관측된 행렬 그래프 내 클리크 구조는 최적해를 포함하는 저차원 얼굴을 식별하는 데 어떻게 활용될 수 있는가?
• RQ3 얼굴 감소는 정확한 복원과 노이즈가 있는 경우 모두에서 계산 효율성과 해의 정확도에 어떤 영향을 미치는가?
• RQ4 기존 방법과 비교했을 때 제안된 방법은 확장성과 노이즈에 대한 강건성 측면에서 어떻게 다른가?
• RQ5 얼굴 감소 프레임워크는 부분적 또는 부족한 데이터를 가진 대규모 문제를 다룰 수 있도록 확장될 수 있는가?

주요 결과

• 얼굴 감소는 엄격한 타당성이 성립하더라도 최적해를 포함하는 저차원 얼굴을 성공적으로 식별하여 SDP 변수 크기를 크게 줄였다.
• 노이즈가 없는 경우, 얼굴 감소는 여유 있는 제약 조건을 제거하여 정확도와 속도가 매우 높은 감소된 문제를 직접 해결할 수 있게 하였다.
• 노이즈가 있는 경우, 얼굴 감소는 문제를 과다정의 정류형 최소 제곱 문제로 변환하고 스케칭 행렬을 사용하여 효율적으로 감소시켰다.
• 수치 결과에 따르면, 이 방법은 높은 정확도를 달성하였으며, $m \times n = 700 \times 1000$, $r=3$, 노이즈 수준 $10^{-3}$ 조건에서 정밀 조정 후 상대 오차가 $2.43 \times 10^{-3​}$로 감소하였다.
• 이 방법은 해의 계산 시간을 줄이고 강건성을 향상시켰으며, $r=3$인 $900 \times 2000$ 크기의 대규모 문제에서 정밀 조정 단계가 100ms 미만 성능을 달성하였다.
• 클리크 구조가 부족한 경우에도 부분적인 복원이 가능하여 실패가 아니라 데이터 부족을 시사하는 진단적 통찰을 제공하였다.