[논문 리뷰] Efficient Algorithms and Error Analysis for the Modified Nystrom Method

Shusen Wang, Zhihua Zhang|arXiv (Cornell University)|2014. 04. 01.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 9

한 줄 요약

이 논문은 대규모 커널 행렬을 위한 저질서 근사 기법인 수정 뉴스트롬 방법에 대해 효율적인 알고리즘과 이론적 분석을 제안한다. 간단하면서도 증명 가능하게 정확한 열 선택 알고리즘과 교차 행렬 계산을 빠르게 하는 방법을 도입하여, 매트릭스 크기가 커져도 오차가 증가하지 않는 점을 감안할 때 더 낮은 시간 복잡도와 향상된 정확도를 달성한다.

ABSTRACT

Many kernel methods suffer from high time and space complexities and are thus prohibitive in big-data applications. To tackle the computational challenge, the Nyström method has been extensively used to reduce time and space complexities by sacrificing some accuracy. The Nyström method speedups computation by constructing an approximation of the kernel matrix using only a few columns of the matrix. Recently, a variant of the Nyström method called the modified Nyström method has demonstrated significant improvement over the standard Nyström method in approximation accuracy, both theoretically and empirically. In this paper, we propose two algorithms that make the modified Nyström method practical. First, we devise a simple column selection algorithm with a provable error bound. Our algorithm is more efficient and easier to implement than and nearly as accurate as the state-of-the-art algorithm. Second, with the selected columns at hand, we propose an algorithm that computes the approximation in lower time complexity than the approach in the previous work. Furthermore, we prove that the modified Nyström method is exact under certain conditions, and we establish a lower error bound for the modified Nyström method.

연구 동기 및 목표

• 빅데이터 응용 분야에서 커널 방법의 높은 계산 비용을 해결하기 위해 수정 뉴스트롬 방법의 효율성을 향상시키는 것.
• 기존 뉴스트롬 방법에서 매트릭스 크기가 커질수록 근사 오차가 증가하는 한계를 수정 뉴스트롬 접근법을 통해 극복하는 것.
• 적은 수의 열을 사용함에도 불구하고 높은 정확도를 유지하는 실용적이고 효율적인 수정 뉴스트롬 방법의 구현을 개발하는 것.
• 수정 뉴스트롬 방법에 대해 정확한 복구 조건과 낮은 오차 한계를 포함한 이론적 보장을 수립하는 것.
• 기존 방법보다 실사용에서 뛰어난 성능을 보이는 증명 가능하게 정확한 계산 효율성이 높은 열 선택 알고리즘을 제공하는 것.

제안 방법

• 균일 샘플링과 적응형 정밀 조정을 조합한 '균일+적응형 2'라고 불리는 열 선택 알고리즘을 제안하여 증명 가능한 오차 한계를 확보하는 것.
• 수정 뉴스트롬 방법에서 교차 행렬을 계산하는 데 있어 효율적인 알고리즘을 설계하여 시간 복잡도를 감소시키며, 특히 희소 커널 매트릭스에 유리한 성능을 발휘하는 것.
• 상수 값을 갖는 비대각선 요소를 가진 블록 대각 매트릭스 구조를 활용하여 제어된 조건 하에서 이론적 오차 한계를 유도하는 것.
• 행렬 분해와 의사역행렬 연산을 활용하여 ${\bf \tilde{A}}^{\textrm{mod}}_{c} = {\bf C}{\bf U}{\bf C}^{T}$ 방식으로 저질서 근사를 계산하는 것. 여기서 ${\bf U} = {\bf C}^{\dagger}{\bf A}({\bf C}^{T})^{\dagger}$이다.
• 원래 커널 매트릭스가 저질서이거나 특정 구조적 조건을 만족할 경우 수정 뉴스트롬 방법이 정확한 복구를 달성할 수 있음을 증명하는 것.
• 스펙트럼 및 프로베니우스 노름 분석을 통해 수정 뉴스트롬 방법의 하한 오차 한계를 수립하는 것. 이 하한은 날카로운 것으로 추측된다.

실험 결과

연구 질문

• RQ1 기존 최첨단 방법에 비해 더 효율적이고 증명 가능하게 정확한 열 선택 알고리즘을 수정 뉴스트롬 방법에 대해 설계할 수 있는가?
• RQ2 정확도를 희생시키지 않고 수정 뉴스트롬 방법에서 교차 행렬 계산의 시간 복잡도를 줄일 수 있는가?
• RQ3 수정 뉴스트롬 방법이 원래 커널 매트릭스를 정확히 복구하는 조건은 무엇인가?
• RQ4 수정 뉴스트롬 방법의 근사 오차에 대한 이론적 하한은 무엇이며, 이 하한은 날카로운가?
• RQ5 제안된 알고리즘의 성능은 열 선택 과정에서 파라미터 $\mu$의 선택에 얼마나 민감한가?

주요 결과

• 제안된 '균일+적응형 2' 열 선택 알고리즘은 근사 최적의+적응형 알고리즘과 비슷한 오차 한계를 달성하지만, 훨씬 더 효율적이고 구현이 간편하다.
• 교차 행렬을 계산하는 데 사용된 새로운 알고리즘은 시간 복잡도를 감소시키며, 특히 희소 커널 매트릭스에 큰 이점을 제공한다.
• 수정 뉴스트롬 방법이 매트릭스가 저질서이거나 특정 구조적 조건을 만족할 경우 원래 커널 매트릭스를 정확히 복구할 수 있음을 증명했다.
• 수정 뉴스트롬 방법에 대해 하한 오차 한계를 설정하였으며, 이는 날카로운 것으로 추측되며, 매트릭스 크기 $m$과 함께 증가하지 않는다.
• 실험 결과에 따르면 근사 정확도가 파라미터 $\mu$의 선택에 상대적으로 민감하지 않으며, 실제 매트릭스 일관성 값을 $\mu$로 설정한다고 해서 항상 최고의 성능을 내는 것은 아니다.
• 수정 뉴스트롬 근사의 프로베니우스 노름 오차는 $(1 - \alpha)^2(m - c)\left(1 + \frac{2k}{c}\left(1 - \frac{k(1 - \alpha)(1 + o(1))}{\alpha m}\right)\right)$로 하한이 둔다. $\alpha \to 1$일 때 가장 날카로운 하한을 얻을 수 있다.