[논문 리뷰] Implementing regularization implicitly via approximate eigenvector computation

Michael W. Mahoney, Lorenzo Orecchia|arXiv (Cornell University)|2010. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 31

한 줄 요약

이 논문은 그래프 라플라시안의 가장 작은 비자명한 고유벡터를 근사할 때, 열화학적 핵심, 페이지랭크, 및 잘라낸 게으른 랜덤 워크와 같은 세 가지 랜덤 워크 기반 알고리즘들이 암묵적으로 정규화된 최적화 문제를 해결하는 방식을 규명한다. 표준 벡터 최적화가 아니라 단위 벡터의 확률 분포에 대한 관련 준선형계획문(semantic program)에서 정규화가 유도되며, 이는 빠른 근사 알고리즘과 암묵적 통계적 정규화 사이의 공식적인 연결고리를 제공한다.

ABSTRACT

Regularization is a powerful technique for extracting useful information from noisy data. Typically, it is implemented by adding some sort of norm constraint to an objective function and then exactly optimizing the modified objective function. This procedure often leads to optimization problems that are computationally more expensive than the original problem, a fact that is clearly problematic if one is interested in large-scale applications. On the other hand, a large body of empirical work has demonstrated that heuristics, and in some cases approximation algorithms, developed to speed up computations sometimes have the side-effect of performing regularization implicitly. Thus, we consider the question: What is the regularized optimization objective that an approximation algorithm is exactly optimizing? We address this question in the context of computing approximations to the smallest nontrivial eigenvector of a graph Laplacian; and we consider three random-walk-based procedures: one based on the heat kernel of the graph, one based on computing the the PageRank vector associated with the graph, and one based on a truncated lazy random walk. In each case, we provide a precise characterization of the manner in which the approximation method can be viewed as implicitly computing the exact solution to a regularized problem. Interestingly, the regularization is not on the usual vector form of the optimization problem, but instead it is on a related semidefinite program.

연구 동기 및 목표

• 빠른 근사 알고리즘이 명시적인 페널티 항 없이 암묵적으로 정규화를 수행할 수 있다는 아이디어를 공식화하기 위해.
• 그래프 라플라시안의 첫 번째 비자명한 고유벡터를 근사하는 데 널리 사용되는 세 가지 랜덤 워크 기반 방법—열화학적 핵심, 페이지랭크, 잘라낸 게으른 랜덤 워크—의 배경이 되는 정확한 정규화된 최적화 문제를 규명하기 위해.
• 암묵적 정규화가 표준 벡터 최적화가 아니라 단위 벡터의 분포에 대한 완화된 준선형계획문에서 발생한다는 것을 보여주기 위해.
• 히우리스틱 방법에서의 알고리즘 효율성과 통계적 안정성 간의 격차를, 히우리스틱 방법의 암묵적 정규화를 규명함으로써 메우기 위해.
• 노이즈가 많고 희박한 네트워크에서 명시적 정규화가 계산적으로 비용이 많이 들기 때문에 불가능한 상황에서, 빠르고 근사적인 알고리즘의 경험적 성공에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 단위 벡터 위에서의 스펙트럼 최적화 문제로 표준 고유벡터 계산을 공식화하기 위해.
• 변수가 단위 벡터의 확률 분포인 준선형계획문으로 문제를 완화하여, 암묵적 정규화의 식별을 가능하게 하기 위해.
• 열화학적 핵심, 페이지랭크, 잘라낸 게으른 랜덤 워크와 같은 세 가지 랜덤 워크 기반 방법을 분석하여, 각각 정규화된 준선형계획문을 해결하는 데 해당함을 보여주기 위해.
• 각 경우의 정규화 항을 보행의 혼합 성질과 정적 분포에 대한 함수로 특성화하기 위해.
• 스펙트럼 그래프 이론과 마르코프 체인의 성질을 사용하여, 각 근사 방법이 최적화하는 정확한 정규화된 목표 함수의 형태를 유도하기 위해.
• 암묵적 정규화가 명시적 페널티 항이 아닌, 랜덤 워크 전이 행렬의 구조와 그 수렴 행동에서 유래한다는 것을 보여주기 위해.

실험 결과

연구 질문

• RQ1 그래프 라플라시안의 가장 작은 비자명한 고유벡터를 근사할 때 열화학적 핵심 방법이 암묵적으로 해결하는 정규화된 최적화 문제는 무엇인가?
• RQ2 페이지랭크 벡터 계산은 그래프 라플라시안 고유벡터 근사의 맥락에서 어떤 정확한 정규화된 최적화 문제의 해와 대응하는가?
• RQ3 잘라낸 게으른 랜덤 워크는 어떻게 암묵적으로 고유벡터 계산을 정규화하며, 다른 방법들과 비교해 볼 때 어떤가?
• RQ4 왜 정규화가 표준 벡터 공식화가 아니라 단위 벡터의 분포에 대한 준선형계획문에서 발생하는가?
• RQ5 빠른 근사 알고리즘의 통계적 이점—노이즈와 희박성에 대한 강건성 등—을 최적화 목표 함수의 암묵적 정규화에 공식적으로 기인시킬 수 있는가?

주요 결과

• 열화학적 핵심, 페이지랭크, 잘라낸 게으른 랜덤 워크와 같은 세 가지 랜덤 워크 기반 방법은 모두 표준 고유벡터 문제의 준선형계획문 완화에 대한 정규화된 최적화 문제를 정확히 해결하는 것으로 해석될 수 있다.
• 정규화는 벡터 자체가 아니라 단위 벡터의 분포에 대해 이루어지며, 이는 스펙트럼 방법에서 새로운 형태의 암묵적 정규화를 드러낸다.
• 각 경우의 정규화 항은 랜덤 워크의 정적 분포에서의 발산과 대응하며, 보행의 자연스러운 혼합 행동에서 벗어나는 해를 효과적으로 페널티 처리한다.
• 암묵적 정규화는 큰 네트워크에서 노이즈와 희박성에 더 강건한 해를 도출하여, 커뮤니티 탐지 및 클러스터링에서 이러한 방법의 경험적 성공을 설명한다.
• 이 특성화는 명시적 정규화 없이도 근사 알고리즘에서 관찰되는 편향-분산 트레이드오프에 대한 이론적 기반을 제공한다.
• 결과적으로, 선형 시간에 가까운 빠른 스펙트럼 문제 알고리즘이 본질적으로 정규화를 수행할 수 있으며, 이는 명시적 정규화가 계산적으로 비용이 많이 들기 때문에 불가능한 대규모 환경에서 통계적으로 유리한 성능을 보임을 시사한다.