[논문 리뷰] Convergence Analysis of Block Coordinate Algorithms with Determinantal Sampling

Mojmír Mutný, Michał Dereziński외 1명|arXiv (Cornell University)|2019. 10. 25.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 랜덤라이즈드 뉴턴 방법에서 블록 좌표 선택을 위한 결정식 표본 추출(determinantal sampling)을 도입하여, 헤시안 과소추정 행렬의 기대 의사역행렬에 대한 닫힌 형식 표현을 가능하게 한다. 이는 수렴 속도가 과소추정 행렬의 고유값 분포에만 의존하게 하여, 최적의 블록 크기를 분석적으로 결정할 수 있게 하며, 특히 고유값 스펙트럼이 급격히 감쇠하는 커널 리지 회귀에서 지수적 속도 향상을 보여준다.

ABSTRACT

We analyze the convergence rate of the randomized Newton-like method introduced by Qu et. al. (2016) for smooth and convex objectives, which uses random coordinate blocks of a Hessian-over-approximation matrix $\bM$ instead of the true Hessian. The convergence analysis of the algorithm is challenging because of its complex dependence on the structure of $\bM$. However, we show that when the coordinate blocks are sampled with probability proportional to their determinant, the convergence rate depends solely on the eigenvalue distribution of matrix $\bM$, and has an analytically tractable form. To do so, we derive a fundamental new expectation formula for determinantal point processes. We show that determinantal sampling allows us to reason about the optimal subset size of blocks in terms of the spectrum of $\bM$. Additionally, we provide a numerical evaluation of our analysis, demonstrating cases where determinantal sampling is superior or on par with uniform sampling.

연구 동기 및 목표

• 헤시안 과소추정을 사용하는 블록 좌표 뉴턴 방법의 수렴 분석 과제를 해결하기 위해.
• 표본화된 헤시안 부분행렬의 기대 의사역행렬에 대한 닫힌 형식 표현이 부족한 문제를 해결하기 위해.
• 수렴 속도 분석을 단순화하고 최적의 블록 크기 선택을 가능하게 하는 표본 추출 전략을 개발하기 위해.
• 결정식 표본 추출이 균일 표본 추출과 비교해도 특히 이질적인 데이터 설정에서 우수하거나 유사한 성능을 보임을 보여주기 위해.
• 과소추정 행렬의 스펙트럼 특성에 기반해 최적의 블록 크기에 대한 이론적이고 경험적인 근거를 제공하기 위해.

제안 방법

• 과소추정 행렬 M의 해당 부분행렬의 행렬식에 비례하여 좌표 블록을 선택하는 결정식 표본 추출을 제안한다.
• 새로운 기대값 공식 유도: E[(M_S)^+] = (αI + M)^{-1}, 여기서 α는 기대 블록 크기를 조절한다.
• 이 공식을 사용하여 랜덤라이즈드 뉴턴 방법의 수렴 속도를 M의 고유값만으로 표현한다.
• 특히 커널 리지 회귀 설정에서 M의 스펙트럼 감쇠와의 관계를 통해 최적의 블록 크기를 분석한다.
• 실험에서 정확한 결정식 표본 추출의 계산 비용을 줄이기 위해 근사 리지 레버리지 스코어를 계산 효율적인 대체 수단으로 사용한다.
• 합성 및 실제 UCI 데이터셋에서의 수치 실험을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 결정식 표본 추출을 통해 표본화된 헤시안 부분행렬의 기대 의사역행렬에 대한 닫힌 형식 표현을 도출할 수 있는가?
• RQ2 결정식 표본 추출 하에서 랜덤라이즈드 뉴턴 방법의 수렴 속도는 헤시안 과소추정 행렬 M의 스펙트럼 특성에 어떻게 의존하는가?
• RQ3 결정식 표본 추출 하에서 RNM의 최적 블록 크기는 무엇이며, M의 고유값 감쇠와 어떻게 관련되는가?
• RQ4 결정식 표본 추출은 실질적으로 균일 표본 추출을 능가하거나 유사하게 성능을 발휘하는가, 특히 이질적인 데이터에서 그렇다면?
• RQ5 결정식 표본 추출 하에서 이론적 수렴 속도 예측이 실제 및 합성 데이터셋에서 경험적으로 검증될 수 있는가?

주요 결과

• 새로운 기대값 공식 유도: E[(M_S)^+] = (αI + M)^{-1}, 이는 복잡한 블록 구조에 대한 의존성을 제거함으로써 수렴 분석을 단순화한다.
• 수렴 속도는 M의 고유값 분포에만 의존하므로, 블록 크기의 분석적 최적화가 가능해진다.
• 지수적으로 감쇠하는 스펙트럼을 가진 커널 리지 회귀에서는 결정식 표본 추출을 사용할 경우 이론적으로 지수적 속도 향상이 발생한다.
• 고유값 감쇠가 급격할 경우, 더 큰 블록의 역행렬 계산 비용을 감안하더라도 수렴 속도 향상 효과가 이를 상회하여 더 큰 블록이 유리하다.
• 이질적인 데이터(예: 가우시안 믹스처 모델)에서는 결정식 표본 추출이 균일 표본 추출보다 뛰어난 성능을 보이며, 더 나은 클러스터 커버리지가 이루어진다.
• 경험적 결과로, 결정식 표본 추출 하에서의 최적 블록 크기가 균일 표본 추출 하에서의 것과 유사하며, 실재 데이터셋(예: 수초전도성 및 cpusmall)에서 이론적 예측과도 일치함을 확인했다.