[논문 리뷰] Approximate Computation and Implicit Regularization for Very Large-scale Data Analysis

Michael W. Mahoney|arXiv (Cornell University)|2012. 03. 04.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 대규모 데이터 분석에서의 근사 계산이 본질적으로 암묵적 통계적 정규화를 유도함을 제안하며, 알고리즘적 시각과 통계적 시각 사이의 격차를 메운다. 최악의 경우 알고리즘을 통계적 관점에서 분석함으로써, 근사가 노이즈가 있는 데이터에 대해 결과를 자연스럽게 안정화시켜 주며, 노이즈 모델링 없이도 확장 가능하고 강건한 추론을 가능하게 한다.

ABSTRACT

Database theory and database practice are typically the domain of computer scientists who adopt what may be termed an algorithmic perspective on their data. This perspective is very different than the more statistical perspective adopted by statisticians, scientific computers, machine learners, and other who work on what may be broadly termed statistical data analysis. In this article, I will address fundamental aspects of this algorithmic-statistical disconnect, with an eye to bridging the gap between these two very different approaches. A concept that lies at the heart of this disconnect is that of statistical regularization, a notion that has to do with how robust is the output of an algorithm to the noise properties of the input data. Although it is nearly completely absent from computer science, which historically has taken the input data as given and modeled algorithms discretely, regularization in one form or another is central to nearly every application domain that applies algorithms to noisy data. By using several case studies, I will illustrate, both theoretically and empirically, the nonobvious fact that approximate computation, in and of itself, can implicitly lead to statistical regularization. This and other recent work suggests that, by exploiting in a more principled way the statistical properties implicit in worst-case algorithms, one can in many cases satisfy the bicriteria of having algorithms that are scalable to very large-scale databases and that also have good inferential or predictive properties.

연구 동기 및 목표

• 대규모 데이터 분석에서 알고리즘적 시각과 통계적 시각 사이의 근본적 괴리를 해결하기 위해.
• 계산에서의 근사가 노이즈가 있는 데이터에 대해 강건성을 향상시키는 방식으로 암묵적 정규화를 어떻게 제공할 수 있는지 조사하기 위해.
• 확장 가능한 알고리즘이 근사의 암묵적 통계적 성질을 활용함으로써 양호한 추론 및 예측 성질을 달성할 수 있음을 보여주기 위해.
• 계산과 모델링을 상호의존적인 관계로 간주함으로써, 대규모 데이터 세트(MMDS)에서 계산 효율성과 통계적 신뢰성 간의 조화를 이루기 위해.
• 최악의 경우 분석을 넘어서, 특히 노이즈가 많은 실제 세계 데이터에서 근사가 실제로 어떻게 결과를 암묵적으로 정규화하는지 이해하기 위해.

제안 방법

• 유전학 및 인터넷 데이터에서의 사례 연구를 통해 근사가 알고리즘 출력에 미치는 영향을 경험적·이론적으로 검토하기 위해.
• 저랭크 행렬 근사 및 PageRank와 같은 근사 알고리즘들이 노이즈를 걸러내는 방식으로 암묵적 정규화를 어떻게 수행하는지 분석하기 위해.
• 근사화를 암묵적 정규화의 한 형태로 프레임워크화하여, 알고리즘적 근사 선택이 입력 노이즈에 대한 안정성을 도입함을 설명하기 위해.
• 스펙트럼 방법, 행렬 근사, 강건성 및 수렴성과 같은 통계적 성질 간의 연결 고리를 설정하기 위해.
• 랜덤 알고리즘과 임bedding 기법의 이론적 통찰을 적용하여, 근사가 노이즈 하에서도 의미 있는 구조를 유지함을 보여주기 위해.
• 계산과 통계를 별개의 문제로 보는 것을 넘어서, 근사를 통해 확장성과 추론 품질 간의 다리를 놓는 통합적 접근을 제안하기 위해.

실험 결과

연구 질문

• RQ1 대규모 데이터 분석에서의 근사 계산은 어떻게 암묵적 통계적 정규화를 초래하는가?
• RQ2 최악의 경우 알고리즘이 명시적 노이즈 모델링 없이도 입력 노이즈에 대해 결과를 어떻게 자연스럽게 안정화시키는가?
• RQ3 근사 알고리즘의 통계적 성질을 활용하여 실제 세계 데이터 분석에서 예측 성능과 강건성을 향상시킬 수 있는가?
• RQ4 알고리즘 설계가 암묵적으로 정규화를 어떻게 구현하는가? 이는 명시적 정규화 기법과 비교해 볼 때 어떠한가?
• RQ5 알고리즘적 시각과 통계적 시각을 통합함으로써 대규모 데이터 세트의 확장 가능하고 신뢰성 있고 해석 가능한 분석을 어떻게 달성할 수 있는가?

주요 결과

• 근사 계산은 정규화를 위해 특별히 설계되지 않았더라도, 데이터의 노이즈를 걸러내는 방식으로 암묵적 통계적 정규화를 유도할 수 있다.
• 경험적 및 이론적 증거는 저랭크 행렬 근사 및 PageRank와 같은 근사 알고리즘이 입력 노이즈에 대해 강건함을 보이며, 이는 본질적인 정규화 성질을 암시한다.
• 확장 가능한 알고리즘에서 근사를 사용할 경우, 입력 데이터가 노이즈가 많거나 잘 구조화되어 있지 않더라도 해가 더 안정적이고 일반화 가능해지는 경향이 있다.
• 통계적 관점에서 최악의 경우 알고리즘을 분석하면, 추론 및 예측 성능을 향상시키는 암묵적 정규화 효과가 드러난다.
• 근사가 데이터 구조와 노이즈에 대한 가정을 암묵적으로 포함한다는 것을 인식함으로써, 알고리즘적 시각과 통계적 시각 사이의 괴리를 메울 수 있다.
• 근사를 암묵적 정규화의 원천으로 간주함으로써, 노이즈의 명시적 통계 모델링 없이도 확장 가능하고 신뢰할 수 있는 분석을 달성할 수 있다.