[논문 리뷰] A Proximal Approach for a Class of Matrix Optimization Problems

Alessandro Benfenati, Émilie Chouzenoux외 1명|arXiv (Cornell University)|2018. 01. 23.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 5

한 줄 요약

이 논문은 Bregman 발산과 스펙트럼 정규화를 포함하는 행렬 최적화 문제를 해결하기 위해 Douglas-Rachford 분할 방법을 기반으로 한 프록시멀 알고리즘을 제안한다. 주요 기여는 주요화-최소화 기법과 프록시멀 연산자를 융합하여 노이즈 환경에서도 정밀도 행렬 추정에 대해 강건한 성능을 달성하며, 재구성 정확도와 지지 집합 복원에서 기존 최고 수준의 방법들을 크게 능가한다. 특히 노이즈가 많은 설정에서 두드러진 성능 향상을 보인다.

ABSTRACT

In recent years, there has been a growing interest in mathematical models leading to the minimization, in a symmetric matrix space, of a Bregman divergence coupled with a regularization term. We address problems of this type within a general framework where the regularization term is split in two parts, one being a spectral function while the other is arbitrary. A Douglas-Rachford approach is proposed to address such problems and a list of proximity operators is provided allowing us to consider various choices for the fit-to-data functional and for the regularization term. Numerical experiments show the validity of this approach for solving convex optimization problems encountered in the context of sparse covariance matrix estimation. Based on our theoretical results, an algorithm is also proposed for noisy graphical lasso where a precision matrix has to be estimated in the presence of noise. The nonconvexity of the resulting objective function is dealt with a majorization-minimization approach, i.e. by building a sequence of convex surrogates and solving the inner optimization subproblems via the aforementioned Douglas-Rachford procedure. We establish conditions for the convergence of this iterative scheme and we illustrate its good numerical performance with respect to state-of-the-art approaches.

연구 동기 및 목표

• 대칭 행렬 공간 내 Bregman 발산과 스펙트럼 정규화를 포함하는 행렬 최적화 문제를 해결하기 위한 유연하고 일반적인 프레임워크를 개발하는 것.
• 관측 노이즈를 고려한 비볼록 최적화 문제로 공식화하여 노이즈가 있는 정밀도 행렬 추정의 과제를 해결하는 것.
• 수렴성과 노이즈에 대한 강건성을 보장하는 주요화-최소화(MM) 기반 반복 알고리즘을 설계하는 것.
• 스펙트럼 및 비스펙트럼 정규화 함수의 광범위한 조합에 대해 명시적인 프록시멀 연산자를 제공하여 효율적 구현을 가능하게 하는 것.
• 증가하는 노이즈 수준에서 기존 방법들과 비교하여 재구성 오차와 거짓 양성률 측면에서 제안된 방법의 슈퍼리오리티를 입증하는 것.

제안 방법

• 문제는 스펙트럼 함수 $ f $ 에 대한 Bregman 발산 최소화와 스펙트럼 정규화 $ g_0 $ 및 일반 정규화 $ g_1 $ 의 합으로 공식화된다.
• 결과로 생기는 볼록 부분문제를 해결하기 위해 Douglas-Rachford 분할 방법이 적용되며, $ f $, $ g_0 $, $ g_1 $ 의 다양한 조합에 대해 유도된 프록시멀 연산자를 활용한다.
• 비볼록 공식화의 경우, 각 서브문제가 고정된 파rameter $ \gamma_\ell = 1 $, $ \alpha_{\ell,k} = 1 $ 를 가진 Douglas-Rachford 절차로 해결되는 주요화-최소화(MM) 전략이 사용된다.
• 특히 $ g_0(\mathbf{C}) = \mu_0 \mathcal{R}_1(\mathbf{C}^{-1}) $ 인 경우, 유일한 양의 근을 구하기 위해 고차방정식을 푸는 방식으로 $ g_0 $ 의 프록시멀 연산자가 계산된다.
• 내부 루프와 외부 루프 모두 상대적 차이 정지 기준을 사용하며, 최대 반복 수는 각각 2000과 20이며, 내부 루프의 정밀도는 $ 10^{-10} $ 으로 설정된다.
• 모든 결과는 복소 헤르미트 행렬로의 확장이 가능하며, 최소한의 수정으로 해당 설정에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 Bregman 발산과 혼합된 스펙트럼/비스펙트럼 정규화를 포함하는 행렬 최적화 문제에 대해 통합된 프록시멀 프레임워크를 개발할 수 있는가?
• RQ2 명시적인 프록시멀 연산자를 활용하여 Douglas-Rachford 분할 방법이 이러한 행렬 최적화 문제에 효과적으로 적용될 수 있는가?
• RQ3 노이즈가 있는 그래픽스 라소 문제의 비볼록 공식화를 주요화-최소화 기법과 볼록 서브문제를 활용해 효율적이고 강건하게 해결할 수 있는가?
• RQ4 제안된 알고리즘이 증가하는 노이즈 수준에서 재구성 정확도와 지지 집합 복원 측면에서 기존 방법들에 비해 어떤 성능을 보이는가?
• RQ5 노이즈가 있는 정밀도 행렬 추정 맥락에서 MM 기반 반복적 절차가 의미 있는 해로 수렴하는 조건은 무엇인가?

주요 결과

• 제안된 MM 기반 알고리즘은 노이즈 분산이 증가할수록 기존의 GLASSO 및 노이즈 간과형 DR 방법들보다 루트 평균 제곱 오차(rmse) 측면에서 뚜렷한 성능 향상을 보였다.
• 이 방법은 거짓 양성률(fpr) 측면에서도 뛰어난 성능을 보이며, 정밀도 행렬의 지지 집합 복원에서 강력한 노이즈에 대한 강건성을 입증했다.
• 특수 데이터셋($ n = 100 $, $ p = 10^{-3} $ 희박성, 조건수 0.125)에서 여덟 가지 노이즈 수준 전역적으로 최고의 재구성 품질을 달성했다.
• 제안된 정지 기준 하에 MM 알고리즘의 수렴성이 보장되며, 외부 반복이 목적 함수 값의 상대적 차이가 $ 10^{-8} $ 이하로 내려갈 때 종료된다.
• 비스펙트럼 부분 $ g_1 = \mu_1 \|\cdot\|_1 $ 의 프록시멀 연산자는 소프트 스레셔닝을 통해 효율적으로 계산되며, 스펙트럼 부분 $ g_0 $ 는 양의 근을 구하기 위해 고차방정식을 풀어야 한다.
• 모든 이론적 결과는 복소 헤르미트 행렬로의 확장이 가능하여, 실수 대칭 행렬 외의 응용에까지 넓은 적용 가능성을 보장한다.