[논문 리뷰] Preconditioning in Expectation

Michael B. Cohen, Rasmus Kyng외 3명|arXiv (Cornell University)|2014. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 랜덤 샘플링을 통해 초희박화를 구성하는 새로운 전치법을 제안하며, 정확한 스펙트럼 근사가 필요 없이 기대값 기준 거의 최적의 성능을 달성한다. 이와 함께 재귀적 전치법과 향상된 임bedding 기법을 조합함으로써, 기대 시간이 $m\log^{1/2}n$에 가까운 SDD 선형 시스템 해법기를 개발하였다. 이는 이전의 상한에 비해 크게 향상된 성능이다.

ABSTRACT

We show that preconditioners constructed by random sampling can perform well without meeting the standard requirements of iterative methods. When applied to graph Laplacians, this leads to ultra-sparsifiers that in expectation behave as the nearly-optimal ones given by [Kolla-Makarychev-Saberi-Teng STOC`10]. Combining this with the recursive preconditioning framework by [Spielman-Teng STOC`04] and improved embedding algorithms, this leads to algorithms that solve symmetric diagonally dominant linear systems and electrical flow problems in expected time close to $m\log^{1/2}n$ .

연구 동기 및 목표

• 거의 선형 시간 내에 거의 최적의 스펙트럼 및 초희박화를 효율적으로 구성하는 데 있어 열려 있는 문제를 해결하기 위해.
• 기본 반복 방법의 조건을 충족하지 못하는 경우에도 기대값 기준으로 잘 작동하는 랜덤 전치 프레임워크를 설계하기 위해.
• 랜덤 부분그래프 샘플링과 재귀적 전치법을 활용하여 대칭 대각우세(SDD) 선형 시스템의 더 빠른 해법기를 개발하기 위해.
• Batson 등이 제기한 거의 최적의 희박화 생성에 대한 효율적인 알고리즘적 해답을 제시하기 위해.

제안 방법

• 최적의 초희박화와 동일한 반복 단위 오차 감소를 기대값 기준으로 달성하기 위해, 간선뿐만 아니라 부분그래프의 랜덤 샘플링을 사용하여 전치를 구성한다.
• 전치된 체비셰프 반복을 사용한 랜덤 리처드슨 반복을 적용하며, 전치는 스트레치 및 트리 외부 간선의 경계를 고려한 랜덤 부분그래프 샘플링을 통해 구성된다.
• Koutis 등의 영감을 얻은 재귀적 전치 프레임워크를 통합하여 점점 더 희박해지는 그래프의 해법기 체인을 사용한다.
• 그래프와 그 트리 근사 간의 해와 오차 보장을 전달하기 위해 임bedding 기법을 활용하며, 안정성과 수렴성을 보장한다.
• 샘플된 행렬가 강력한 스펙트럼 근사가 아니어도 되도록, 반복적 선형 시스템 해법에 초점을 맞춘 분석을 수행한다.
• 기대값 기반 오차 감소에 대한 통계적 경계를 사용하여, 중간 단계에서 큰 절대 오차가 존재하더라도 강건한 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 부분그래프의 랜덤 샘플링이, 거의 최적의 초희박화와 동일한 성능을 기대값 기준으로 갖는 전치를 제공할 수 있는가?
• RQ2 Batson 등이 제기한 문제를 해결하여, 거의 선형 시간 내에 거의 최적의 희박화를 구성할 수 있는가?
• RQ3 표준 스펙트럼 근사 보장을 충족하지 못하는 랜덤 전치를 사용할 때도 재귀적 전치 프레임워크를 적응시킬 수 있는가?
• RQ4 결정적 구성 대신 랜덤 부분그래프 샘플링을 사용할 경우, 반복 단위 오차 감소를 어떻게 기대값 기준으로 유지할 수 있는가?
• RQ5 향상된 임bedding과 재귀를 결합함으로써 전체 해법기 실행 시간을 $m\log^{1/2}n$에 가깝게 줄일 수 있는가?

주요 결과

• 제안된 알고리즘은 임의의 상수 $\delta > 0$ 에 대해 기대 시간 $\mathcal{O}(m\log^{1/2}n\log\log^{3+\delta}n\log(1/\epsilon))$ 내에 대칭 대각우세 선형 시스템을 해결하며, 거의 $m\log^{1/2}n$ 복잡도를 달성한다.
• 이 방법은 Kolla 등(2010)의 거의 최적의 초희박화와 동일한 오차 감소를 기대값 기준으로 달성하는 부분그래프의 랜덤 샘플링을 통해 전치를 구성한다.
• 해법기 프레임워크는 상당한 확률로 상대 오차 $\epsilon$ 를 $\mathcal{O}(m\log^{1/2}n\log\log^{3+\delta}n\log(1/\epsilon))$ 기대 시간 내에 달성한다.
• 알고리즘은 중간 단계에서 큰 절대 오차가 존재하더라도 강건하며, 강력한 수렴 보장을 갖는 전치된 체비셰프 반복에 의존한다.
• 분석 결과, 전치 전략이 정확한 스펙트럼 근사 보장을 충족하지 못하더라도 재귀적 전치 프레임워크가 랜덤 샘플링 하에서도 안정성을 유지함을 보였다.
• 이 방법은 유사한 시간 내에 전기 흐름의 약한 최소 에너지 해를 생성할 수 있어, 그래프 알고리즘의 이중 문제에 광범위하게 적용 가능함을 보여준다.