[논문 리뷰] Minimizing Quadratic Functions in Constant Time

Kohei Hayashi, Yuichi Yoshida|arXiv (Cornell University)|2016. 08. 25.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 차원 수 $ n $ 와 무관하게 일정 시간 내에 이차 함수의 최솟값을 근사하는 샘플링 기반 방법을 제안한다. 무작위로 $ k $ 개의 인덱스를 추출하고 축소된 문제를 풀어, 높은 확률 $ 1-\delta $ 에서 $ O(\epsilon n^2) $ 의 오차를 달성하며, 대규모 문제에서 기존 방법보다 런타임과 정확도 면에서 뛰어나다.

ABSTRACT

A sampling-based optimization method for quadratic functions is proposed. Our method approximately solves the following $n$-dimensional quadratic minimization problem in constant time, which is independent of $n$: $z^*=\min_{\mathbf{v} \in \mathbb{R}^n}\langle\mathbf{v}, A \mathbf{v} angle + n\langle\mathbf{v}, \mathrm{diag}(\mathbf{d})\mathbf{v} angle + n\langle\mathbf{b}, \mathbf{v} angle$, where $A \in \mathbb{R}^{n imes n}$ is a matrix and $\mathbf{d},\mathbf{b} \in \mathbb{R}^n$ are vectors. Our theoretical analysis specifies the number of samples $k(δ, ε)$ such that the approximated solution $z$ satisfies $|z - z^*| = O(εn^2)$ with probability $1-δ$. The empirical performance (accuracy and runtime) is positively confirmed by numerical experiments.

연구 동기 및 목표

• 표준 방법이 $ O(n^3) $ 시간이 소요되는 고차원 문제에서의 이차 최소화의 확장성 한계를 해결하기 위해.
• 대규모 응용 분야에서 $ n $ 과 무관하게 일정 시간 내에 이차 함수의 최적값을 계산할 수 있는 방법을 설계하기 위해.
• 근사 오차가 높은 확률 $ 1-\delta $ 에서 $ O(\epsilon n^2) $ 이내로 제한되도록 보장하여 통계 및 머신러닝 작업에 적합하게 하기 위해.
• 대규모 문제에서 기존의 부분선형 방법들인 Nyström 방법보다 런타임과 정확도 면에서 뛰어나게 하기 위해.

제안 방법

• 인덱스 집합 $ \{1, \dots, n\} $ 에서 무작위로 $ k = k(\epsilon, \delta) $ 개의 인덱스를 추출하여, 샘플된 인덱스에 대한 부분문제를 구성한다.
• 샘플된 부분행렬 $ A|_S $, 부분벡터 $ \mathbf{d}|_S $, 및 $ \mathbf{b}|_S $ 에서 축소된 이차 최소화 문제를 푼다.
• 최종 추정치는 원래 문제의 최적값을 근사하기 위해 $ \frac{n^2}{k^2} $ 로 스케일링된다.
• 이론적 분석은 그래프 극한 이론을 사용하여 원래 문제와 샘플된 문제 간의 거리를 제한하여 오차 제어를 보장한다.
• 쿼리 접근을 $ A $, $ \mathbf{d} $, 및 $ \mathbf{b} $ 에 대해 가정하며, 실수 RAM 모델에서 작동한다.
• 샘플 수 $ k(\epsilon, \delta) $ 는 확률 $ 1 - \delta $ 에서 $ |z - z^*| = O(\epsilon n^2) $ 를 보장하도록 유도된다.

실험 결과

연구 질문

• RQ1 고차원 이차 함수의 최솟값은 $ n $ 과 무관하게 일정 시간 내에 근사할 수 있는가?
• RQ2 $ O(\epsilon n^2) $ 의 오차를 높은 확률로 달성하기 위해 필요한 샘플 수 $ k(\epsilon, \delta) $ 는 얼마인가?
• RQ3 제안된 샘플링 방법은 대규모 문제에서 Nyström 방법과 이차계획법에 비해 정확도와 런타임 면에서 어떻게 비교되는가?
• RQ4 이 방법은 페어슨 분산 추정과 같은 커널 기반 추정 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 오직 $ O(k^2) $ 쿼리와 $ \mathrm{poly}(k) $ 시간만으로, 확률 $ 1 - \delta $ 에서 $ O(\epsilon n^2) $ 근사 오차를 달성한다. 여기서 $ k = k(\epsilon, \delta) $ 이다.
• 수치 실험 결과, $ n $ 이 다양한 값일 때에도 절대 근사 오차를 $ n^2 $ 으로 스케일링한 값이 균일하게 제어됨을 확인하여 이론적 오차 경계가 검증되었다.
• 페어슨 분산 추정 문제에서, 제안된 방법은 Nyström 방법보다 훨씬 낮은 오차를 달성하였다: $ k=160 $ 에서 $ 0.0003 \pm 0.0003 $ 대비 Nyström 방법은 $ 0.0254 \pm 0.0285 $ 였다.
• 제안된 방법의 런타임은 $ n = 500 $ 에서 $ 5000 $ 으로 변할 때에도 거의 일정하게 $ 0.002 $ 에서 $ 0.035 $ 초 사이를 유지했으며, 반면 Nyström 방법의 런타임은 $ 0.005 $ 에서 $ 1.972 $ 초로 증가했다.
• 일정 시간 복잡도 덕분에, 특히 $ k $ 가 클수록 정확도와 효율성 면에서 Nyström 방법을 뛰어넘는다.
• 이 방법은 페어슨 분산 추정과 같은 커널 방법에 적용 가능하며, 문제를 일반적인 이차 형식으로 표현함으로써 가능해진다.