[논문 리뷰] Recovery of simultaneous low rank and two-way sparse coefficient matrices, a nonconvex approach

Ming Yu, Varun Gupta외 1명|arXiv (Cornell University)|2018. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 131인용 수 11

한 줄 요약

이 논문은 다중 작업 학습 및 희소 감소 랭크 회귀에서 기존 방법보다 빠른 속도를 보이며, 동일한 낮은 랭크와 행/열 희소성 구조를 동시에 가지는 행렬을 복원하기 위해 비볼록 최적화 알고리즘인 경사 하강법과 하드 히어링팅(GDT)을 제안한다. 이 방법은 통계적 오차 내에서 선형 수렴을 달성하며, 이론적 보장과 실험 결과를 통해 경쟁력 있는 성능을 보인다.

ABSTRACT

We study the problem of recovery of matrices that are simultaneously low rank and row and/or column sparse. Such matrices appear in recent applications in cognitive neuroscience, imaging, computer vision, macroeconomics, and genetics. We propose a GDT (Gradient Descent with hard Thresholding) algorithm to efficiently recover matrices with such structure, by minimizing a bi-convex function over a nonconvex set of constraints. We show linear convergence of the iterates obtained by GDT to a region within statistical error of an optimal solution. As an application of our method, we consider multi-task learning problems and show that the statistical error rate obtained by GDT is near optimal compared to minimax rate. Experiments demonstrate competitive performance and much faster running speed compared to existing methods, on both simulations and real data sets.

연구 동기 및 목표

• 인지 신경과학, 영상 처리 및 다중 작업 학습에서 흔한 동시에 낮은 랭크이자 행/열 희소성 구조를 가지는 행렬을 효율적으로 복원하기 위한 알고리즘을 개발한다.
• 볼록 근사의 한계를 극복하기 위해, 이중 볼록 형식을 활용해 비볼록 최적화 문제를 직접 해결한다.
• 제한된 강한 볼록성 및 매끄러움 조건 하에서, 최적 해의 통계적 오차 내에서 알고리즘의 선형 수렴을 확립한다.
• 낮은 랭크 및 이중 희소성 구조를 통한 동시 변수 선택과 차원 축소를 가능하게 하여 다중 작업 학습에서 이론적 및 실험적 성능을 향상시킨다.
• 기존 접근 방식보다 더 빠른 계산 속도를 보이며, 최소화율에 비해 거의 최적의 통계적 오차율을 달성함을 입증한다.

제안 방법

• 낮은 랭크 행렬을 $\Theta = UV^\top$로 재정의하여 $U \in \mathbb{R}^{m_1 \times r}$, $V \in \mathbb{R}^{m_2 \times r}$로 하여, 저차원 요인에 대한 최적화 문제로 축소한다.
• 각 반복 단계에서 하드 히어링팅을 적용한 투영 경사 하강법을 사용하여 $U$와 $V$에 각각 행 및 열 희소성 제약을 도입한다.
• 랭크, 행 희소성, 열 희소성로 정의된 비볼록 제약 집합 $\Xi(r, s_1, s_2)$를 사용하여 원하는 행렬 구조를 직접 모델링한다.
• 제한된 강한 볼록성(RSC) 및 제한된 강한 매끄러움(RSS) 조건을 활용하여, 반복값이 최적 해로부터 $c \cdot \epsilon$ 이내의 영역으로 선형 수렴함을 증명한다. 여기서 $\epsilon$은 통계적 오차이다.
• 손실 함수에 대한 제한된 강한 볼록성(RSC) 및 제한된 강한 매끄러움(RSS) 조건을 활용하여 수렴성과 안정성을 보장한다.
• 고차원 설정에서 통계적 오차 항 $e_{\text{stat}}$ 를 제어하기 위해 에psilon 넷 추론 및 서브가우시안 尾 확률 바운드를 활용한다.

실험 결과

연구 질문

• RQ1 동시에 낮은 랭크와 이중 희소성 구조를 가지는 행렬을 복원하는 데 있어, 비볼록 최적화 접근이 볼록 근사보다 우수한 성능을 낼 수 있는가?
• RQ2 GDT 알고리즘이 진짜 매개변수의 통계적 오차 내에서 선형 수렴을 달성하는가?
• RQ3 고차원 입력과 적은 샘플 수를 가진 다중 작업 학습 설정에서 GDT의 통계적 오차는 최소화율에 비해 어떻게 비교되는가?
• RQ4 낮은 랭크 및 희소성 제약 조건을 동시에 강제함에도 불구하고, 알고리즘이 빠른 수렴과 경쟁 가능한 성능을 유지할 수 있는가?
• RQ5 구조적 희소성과 낮은 랭크 제약 조건이 있는 비볼록 집합에 대해, 하드 히어링팅을 적용한 경사 하강법에 대해 어떤 이론적 보장이 가능할 수 있는가?

주요 결과

• RSC 및 RSS 조건 하에서, GDT 알고리즘은 최적 해로부터 $c \cdot \epsilon$ 이내의 해로 반복값이 선형 수렴한다. 여기서 $\epsilon$은 통계적 오차이다.
• GDT의 통계적 오차율은 고차원 설정에서 로그 인자까지의 차이를 제외하고 거의 최적의 수준이며, 최소화율과 일치한다.
• 시뮬레이션 및 실제 데이터 실험 결과에서 GDT는 기존 방법보다 훨씬 더 빠른 실행 속도를 보이며 경쟁력 있는 추정 정확도를 달성한다.
• GDT는 다중 작업 학습에서 낮은 랭크 및 이중 희소 계수 행렬을 성공적으로 복원하여 동시 변수 선택과 잠재 요인 탐색을 가능하게 한다.
• 이론적 분석을 통해 통계적 오차 $e_{\text{stat}}$ 가 고확률적으로 다음으로 유계임을 입증하였다: $O\left(\sigma \sqrt{\frac{\bar{\kappa}(s_1)}{n}} \left(s_1 \log p + s_2 \log k + r(s_1 + s_2) \log 6 + \log \frac{1}{\delta}\right)\right)$
• 알고리즘은 각 반복에서 독립된 샘플이 필요로 하지 않으며, 비가우시안 오차도 허용하여 기존 다중 작업 학습 연구에 비해 향상된 성능을 보인다.