[논문 리뷰] The Modified Nystrom Method: Theories, Algorithms, and Extension.

Shusen Wang, Luo Luo외 1명|arXiv (Cornell University)|2014. 06. 22.

Tensor decomposition and applications참고 문헌 10인용 수 6

한 줄 요약

이 논문은 수정 뉴스트öm 방법의 확장인 SS-Nyström 방법을 제안한다. 이 방법은 거의 동일한 계산 효율성을 유지하면서도 커널 행렬 근사 정확도를 크게 향상시킨다. 새로운 열 선택 전략과 개선된 근사 알고리즘을 도입함으로써, 특히 커널 스펙트럼이 느리게 감쇠하는 경우에 오차 한계를 크게 감소시킨다. 실제 데이터셋에서 표준 뉴스트öm 방법과 수정 뉴스트öm 방법을 모두 능가한다.

ABSTRACT

Many kernel methods suffer from high time and space complexities, so they are prohibitive in big-data applications. To tackle the computational challenge, the Nyström method has been extensively used to reduce time and space complexities by sacrificing some accuracy. The Nyström method speedups computation by constructing an approximation of the kernel matrix in question using only a few columns of the matrix. Recently, a variant of the Nyström method called the modified Nyström method has demonstrated significant improvement over the standard Nyström method in approximation accuracy, both theoretically and empirically. In this paper we provide theoretical analysis, efficient algorithms, and a simple but highly accurate extension for the modified Nyström method. First, we prove that the modified Nyström method is exact under certain conditions, and we establish a lower error bound for the modified Nyström method. Second, we develop two efficient algorithms to make the modified Nyström method efficient and practical. We devise a simple column selection algorithm with a provable error bound. With the selected columns at hand, we propose an algorithm that computes the modified Nyström approximation in lower time complexity than the approach in the previous work. Third, the extension which we call the SS-Nyström method has much stronger error bound than the modified Nyström method, especially when the spectrum of the kernel matrix decays slowly. Our proposed SS-Nyström can be computed nearly as efficiently as the modified Nyström method. Finally, experiments on real-world datasets demonstrate that the proposed column selection algorithm is both efficient and accurate and that the SS-Nyström method always leads to much higher kernel approximation accuracy than the standard/modified Nyström method.

연구 동기 및 목표

• 빅데이터 응용 분야에서 커널 방법의 높은 시간 및 공간 복잡도를 해결한다.
• 기존에 정확도를 기반으로 효율성을 포기하는 경향이 있는 뉴스트öm 방법의 근사 정확도를 향상시킨다.
• 이론적으로 타당하고 계산 효율적인 수정 뉴스트öm 방법의 변종을 개발하며, 증명 가능한 오차 한계를 확보한다.
• 커널 행렬 고유값이 느리게 감쇠할 경우에 특히 강력한 오차 한계를 확보하는 확장형 방법인 SS-Nyström을 제안한다.
• 실제 세계의 데이터셋에서 제안된 열 선택 및 근사 알고리즘의 실용적 효과를 입증한다.

제안 방법

• 증명 가능한 오차 한계를 보장하는 새로운 열 선택 알고리즘을 도입하여 커널 행렬 열의 고질적인 샘플링을 확보한다.
• 이전 방법들보다 더 낮은 시간 복잡도로 수정 뉴스트öm 근사를 계산하는 효율적인 알고리즘을 설계한다.
• 커널 행렬의 저랭크 구조를 개선함으로써 근사 정확도를 향상시키는 확장형 방법인 SS-Nyström을 제안한다.
• 이론적 분석을 통해 수정 뉴스트öm 방법은 특정 조건 하에서 정확하며, 낮은 오차 한계를 설정할 수 있음을 밝힌다.
• 커널 행렬의 스펙트럼 특성을 활용하여 열 선택을 안내하고 근사 안정성을 향상시킨다.
• SS-Nyström 방법은 수정 뉴스트öm 방법과 유사한 계산 효율성을 유지하면서도 오차를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 수정 뉴스트öm 방법이 정확해지는 조건은 무엇이며, 그 이론적 최소 오차 한계는 무엇인가?
• RQ2 수정 뉴스트öm 방법의 정확도를 향상시키기 위해 증명 가능한 오차 보장을 갖춘 열 선택 전략을 설계할 수 있는가?
• RQ3 수정 뉴스트öm 근사의 계산 복잡도를 정확도를 희생하지 않고 어떻게 감소시킬 수 있는가?
• RQ4 커널 행렬 스펙트럼이 느리게 감쇠할 경우, 제안된 SS-Nyström 방법이 수정 뉴스트öm보다 유의미하게 더 강력한 오차 한계를 확보할 수 있는가?
• RQ5 제안된 알고리즘은 실제 세계의 대규모 데이터셋에서 실용적으로 효율적이고 정확한가?

주요 결과

• 선택된 열들이 커널 행렬의 열공간을 커버할 경우 수정 뉴스트öm 방법은 정확하며, 이에 대한 이론적 최소 오차 한계가 설정된다.
• 제안된 열 선택 알고리즘은 높은 정확도와 낮은 계산 비용을 동시에 확보하며, 이전 방법보다 향상된 증명 가능한 오차 한계를 확보한다.
• 수정 뉴스트öm 근사를 계산하는 새로운 알고리즘은 이전 방법들보다 시간 복잡도가 낮다.
• SS-Nyström 방법은 특히 커널 행렬 스펙트럼이 느리게 감쇠하는 경우 수정 뉴스트öm 방법보다 훨씬 강력한 오차 한계를 확보한다.
• 실제 세계 데이터셋에서의 실험을 통해 SS-Nyström 방법이 표준 뉴스트öm 방법과 수정 뉴스트öm 방법을 모두 극복하며 커널 근사 정확도에서 끊임없이 뛰어난 성능을 보인다.
• 제안된 열 선택 및 근사 파이프라인은 실용적으로 효율적이고 정확하며, 실제 데이터셋에서의 확장성과 강인성을 입증한다.