[논문 리뷰] Spectral Frank-Wolfe Algorithm: Strict Complementarity and Linear Convergence

Lijun Ding, Yingjie Fei외 2명|arXiv (Cornell University)|2020. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 스펙트럼 프랭크-울프(SpecFW) 알고리즘을 소개한다. 이는 스펙트라에 대한 볼록 최적화를 위한 프랭크-울프 방법의 새로운 변종으로, 각 반복마다 기울기의 고유벡터를 다수 계산하고, 소규모의 정규화된 준정적행렬계획문제(SDP)를 해결한다. 이 방법은 엄격한 보완성 조건 하에서 선형 수렴성을 확보하며, 이 조건은 이차 성장성을 보장하고, 최적해가 낮은 질서이지만 단일질서가 아닐 경우에도 빠른 수렴을 가능하게 한다.

ABSTRACT

We develop a novel variant of the classical Frank-Wolfe algorithm, which we call spectral Frank-Wolfe, for convex optimization over a spectrahedron. The spectral Frank-Wolfe algorithm has a novel ingredient: it computes a few eigenvectors of the gradient and solves a small-scale SDP in each iteration. Such procedure overcomes slow convergence of the classical Frank-Wolfe algorithm due to ignoring eigenvalue coalescence. We demonstrate that strict complementarity of the optimization problem is key to proving linear convergence of various algorithms, such as the spectral Frank-Wolfe algorithm as well as the projected gradient method and its accelerated version.

연구 동기 및 목표

• 기울기의 고유값이 겹치는 현상으로 인해 고전적 프랭크-울프의 수렴 속도가 느려지는 저질서 행렬 복원 문제를 해결한다.
• 기존의 프랭크-울프 변종들이 선형 수렴을 위해 단일질서 해를 가정해야 하는 한계를 극복한다.
• 스펙트라에서 1차 방법의 선형 수렴과 엄격한 보완성 조건 간의 이론적 기반을 구축한다.
• 선형 수렴을 달성하면서도 투영 자유 효율성을 유지하는 실용적인 알고리즘을 개발한다.

제안 방법

• 기울기 헤시안 근사의 상위 $k$개 고유벡터를 계산하는 새로운 프랭크-울프 변종인 스펙트럼 프랭크-울프(SpecFW)를 제안한다.
• 이 고유벡터들이 생성하는 $k$차원 부분공간 위에서 소규모 SDP를 해결하여 반복값을 갱신한다.
• 기존 반복값과 부분문제에서 유도된 새로운 저질서 해를 결합하기 위해 선형 탐색 또는 고정 단계 크기 전략을 사용한다.
• 스펙트라의 구조와 선형 사상 $\mathcal{A}$의 희소성에 기반해, Lanczos 방법을 활용해 고유벡터를 효율적으로 계산한다.
• 수식 (10)을 통해 이전 기울기 행렬의 고유값을 단형단순형으로 사영하는 부분문제 설정을 제안한다.
• 최적해에서 엄격한 보완성 조건을 활용하여 수렴을 보장하며, 이 조건은 $\nabla f(X_\star)$의 $r_{\star}$-번째와 $(r_{\star}+1)$-번째 고유값 사이의 갭을 보장한다.

실험 결과

연구 질문

• RQ1 최적해가 단일질서가 아닐 경우, 프랭크-울프 변종이 저질서 행렬 복원 문제에서 선형 수렴을 달성할 수 있는가?
• RQ2 스펙트라에서 프랭크-울프 및 투영 경량화 방법의 선형 수렴을 가능하게 하는 구조적 조건은 무엇인가?
• RQ3 각 반복마다 다수의 고유벡터를 계산하고 소규모 SDP를 해결하는 것이 고전적 프랭크-울프에 비해 수렴을 어떻게 향상시키는가?
• RQ4 부분문제 차원 $k$가 진정한 질서 $r_\star$보다 작거나 클 경우 수렴에 미치는 영향은 무엇인가?
• RQ5 실제 저질서 행렬 복원 문제, 예를 들어 행렬 감지 문제에서 엄격한 보완성이 경험적으로 검증될 수 있는가?

주요 결과

• 스펙트럼 프랭크-울프 알고리즘은 엄격한 보완성 조건 하에서 선형 수렴성을 확보하며, 이는 스펙트라에서 볼록 최적화의 빠른 수렴을 위한 핵심 조건이다.
• 실험 결과, $n=100,200,400,600$일 때 행렬 감지 문제의 최적해 질서 $r_\star=3$이며, 고유값 갭 $\lambda_{n-3}(\nabla f(X_\star)) - \lambda_n(\nabla f(X_\star))$는 크며(288.06에서 1358.62 사이), 엄격한 보완성을 확인한다.
• $k=4>r_\star$일 경우 실험에서 SpecFW는 반복 횟수와 런타임 모두에서 FW와 G-BlockFW보다 더 빠른 수렴을 보이며, $n=600$일 경우 특히 두드러진다.
• $k=2<r_\star$일 경우 G-BlockFW는 약 $10^{-1}$ 근처에서 정체되지만, SpecFW는 여전히 빠른 수렴을 유지하여 $k$의 잘못된 설정에 대한 강건성을 보여준다.
• 모든 테스트 차원에서 복원 오차는 $0.0013$ 이하로 유지되어 진정한 저질서 해를 높은 정확도로 복원함을 나타낸다.
• 부분문제 해법기(FASTA)는 최종 수렴 단계에서 약간의 진동을 유도하여, 부분문제 정확도 향상의 잠재적 여지를 시사한다.