[논문 리뷰] Faster Projection-free Convex Optimization over the Spectrahedron

Dan Garber|arXiv (Cornell University)|2016. 05. 20.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 스펙트라헤드론 위에서의 볼록 최적화를 위한 새로운 조건부 기울기 방법을 제안하며, 랭크-일차 정규화와 적응형 스텝 사이즈를 통합하여 표준 조건부 기울기 방법보다 증명 가능하게 빠른 수렴 속도를 달성한다. 이 방법은 단일 주요 고유벡터 계산만을 요구하여 각 반복의 비용을 낮게 유지하면서도, 최적 해가 저랭크일 경우에 특히 뛰어난 수렴 성능을 보이며, 오차 한계는 $ O\left(\min\left\{\frac{\beta}{t}, \left(\frac{\beta\sqrt{\mathrm{rank}(\mathbf{X}^*)}}{\alpha^{1/4}t}\right)^{4/3}, \left(\frac{\beta}{\sqrt{\alpha}\lambda_{\min}(\mathbf{X}^*)t}\right)^2\right\} \right) $ 로 스케일링된다. 이는 표준 CG보다 유의미하게 뛰어난 성능을 보이며, 특히 최적 해가 저랭크일 경우에 뛰어난 성능을 발휘한다.

ABSTRACT

Minimizing a convex function over the spectrahedron, i.e., the set of all positive semidefinite matrices with unit trace, is an important optimization task with many applications in optimization, machine learning, and signal processing. It is also notoriously difficult to solve in large-scale since standard techniques require expensive matrix decompositions. An alternative, is the conditional gradient method (aka Frank-Wolfe algorithm) that regained much interest in recent years, mostly due to its application to this specific setting. The key benefit of the CG method is that it avoids expensive matrix decompositions all together, and simply requires a single eigenvector computation per iteration, which is much more efficient. On the downside, the CG method, in general, converges with an inferior rate. The error for minimizing a $β$-smooth function after $t$ iterations scales like $β/t$. This convergence rate does not improve even if the function is also strongly convex. In this work we present a modification of the CG method tailored for convex optimization over the spectrahedron. The per-iteration complexity of the method is essentially identical to that of the standard CG method: only a single eigenvecor computation is required. For minimizing an $α$-strongly convex and $β$-smooth function, the expected approximation error of the method after $t$ iterations is: $$O\left({\min\{\frac{β}{t} ,\left({\frac{β\sqrt{ extrm{rank}( extbf{X}^*)}}{α^{1/4}t}} ight)^{4/3}, \left({\fracβ{\sqrtαλ_{\min}( extbf{X}^*)t}} ight)^{2}\}} ight) ,$$ where $ extbf{X}^*$ is the optimal solution. To the best of our knowledge, this is the first result that attains provably faster convergence rates for a CG variant for optimization over the spectrahedron. We also present encouraging preliminary empirical results.

연구 동기 및 목표

• 스펙트라헤드론 위에서의 볼록 최적화에 대해 표준 조건부 기울기(CG) 방법의 느린 수렴 속도 문제를 해결하고자 하며, 이는 강한 볼록성 조건 하에서도 $ O(\beta/t) $ 로 스케일링됨을 목표로 한다.
• 각 반복 비용이 낮은(단일 고유벡터 계산) 유지하면서도 증명 가능하게 빠른 수렴 속도를 달성하는 CG 변종을 개발하고자 한다.
• 매트릭스 완성과 같은 문제에서 최적 해가 저랭크일 경우에 발생하는 정확도-랭크 트레이드오프를 향상시키고자 한다.
• 최적 해의 랭크와 가장 작은 비영 고유값에 따라 수렴 속도에 영향을 미치는 이론적 보장을 제공하고자 한다.
• 실제 데이터셋에서 표준 CG 및 어웨이-스텝 CG와의 비교를 통해 제안된 방법의 우수성을 실증적으로 검증하고자 한다.

제안 방법

• 해의 랭크에 기반한 정규화 항을 포함한 랭크-일차 정규화 조건부 기울기(ROR-CG) 방법을 제안하며, 이는 표준 CG를 수정한 것이다.
• 이론적 분석에서 유도된 적응형 스텝 사이즈 규칙 $ \eta_t = \frac{18}{t+8} $ 를 사용하여 수렴성과 안정성을 균형 잡는다.
• 각 반복에서 랭크-일차 성분을 탐욕적으로 선택하는 전략을 적용하여 랜덤 샘플링보다 더 우수한 내림쪽 방향을 확보한다.
• 탐색 방향을 계산한 후 정확한 선형 탐색을 적용하여 스텝 사이즈를 최적화함으로써 실용적 성능을 향상시킨다.
• 표준 감소 기법을 통해 핵노름 제약 문제를 스펙트라헤드론 최적화 문제로 환원한다.
• 선형 최소화가 스펙트라헤드론 위에서 주요 고유벡터 계산으로 감소한다는 사실을 활용하여 각 반복의 비용을 낮게 유지한다.

실험 결과

연구 질문

• RQ1 스펙트라헤드론 위에서의 조건부 기울기 변종이 각 반복 비용을 증가시키지 않고도 표준 CG보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 최적 해의 랭크와 가장 작은 비영 고유값이 프로젝션 프리 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 랭크-일차 정규화와 적응형 스텝 사이즈가 스펙트라헤드론 위에서 강한 볼록성과 미끄러운 목표 함수에 대해 증명 가능하게 빠른 수렴을 이끌 수 있는가?
• RQ4 제안된 방법이 매트릭스 완성과 같은 저랭크 매트릭스 복원 문제에서 정확도-랭크 트레이드오프를 향상시킬 수 있는가?
• RQ5 이론적 수렴 속도 향상이 실제 데이터셋에서 실용적 성능 향상으로 이어질 수 있는가?

주요 결과

• 제안된 방법은 기대 근사 오차가 $ O\left(\min\left\{\frac{β}{t}, \left(\frac{β\sqrt{\mathrm{rank}(\mathbf{X}^*)}}{α^{1/4}t}\right)^{4/3}, \left(\frac{β}{\sqrt{α}\lambda_{\min}(\mathbf{X}^*)t}\right)^2\right\} \right) $ 로, 표준 CG 방법의 $ O(β/t) $ 속도보다 증명 가능하게 빠르게 수렴한다.
• 최적 해가 저랭크일 경우, 방법의 수렴 속도가 크게 향상되어 표준 CG보다 더 나은 정확도-랭크 트레이드오프를 제공한다.
• 방법은 표준 CG와 동일한 각 반복 복잡도를 유지한다—단일 주요 고유벡터 계산만을 요구하므로 대규모 문제에 대해 확장 가능하다.
• MovieLens 데이터셋에 대한 실증 결과는 ROR-CG가 표준 CG 및 어웨이-스텝 CG보다 반복당 목표 함수 값 감소 측면에서 더 빠르게 수렴하는 것으로 나타났다.
• 탐욕적 성분 선택 및 선형 탐색 절차는 비용이 약간 증가하지만 실용적 성능 향상에 기여한다.
• 저자들의 지식에 비추어 볼 때, 이는 강한 볼록성 조건 하에서 스펙트라헤드론 최적화에 대해 표준 CG보다 증명 가능하게 빠른 수렴 속도를 달성하는 최초의 방법이다.