[論文レビュー] Approximate Computation and Implicit Regularization for Very Large-scale Data Analysis

Michael W. Mahoney|arXiv (Cornell University)|Mar 4, 2012

Sparse and Compressive Sensing Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、大規模データ解析における近似計算が本質的に暗黙の統計的正則化を引き起こすという仮説を提示する。アルゴリズム的視点と統計的視点の間のギャップを埋めるために、最悪ケースのアルゴリズムを統計的視点から分析することで、近似がノイズの多いデータに対して結果を安定化させることを示し、明示的なノイズモデルなしにスケーラブルで頑健な推論を可能にする。

ABSTRACT

Database theory and database practice are typically the domain of computer scientists who adopt what may be termed an algorithmic perspective on their data. This perspective is very different than the more statistical perspective adopted by statisticians, scientific computers, machine learners, and other who work on what may be broadly termed statistical data analysis. In this article, I will address fundamental aspects of this algorithmic-statistical disconnect, with an eye to bridging the gap between these two very different approaches. A concept that lies at the heart of this disconnect is that of statistical regularization, a notion that has to do with how robust is the output of an algorithm to the noise properties of the input data. Although it is nearly completely absent from computer science, which historically has taken the input data as given and modeled algorithms discretely, regularization in one form or another is central to nearly every application domain that applies algorithms to noisy data. By using several case studies, I will illustrate, both theoretically and empirically, the nonobvious fact that approximate computation, in and of itself, can implicitly lead to statistical regularization. This and other recent work suggests that, by exploiting in a more principled way the statistical properties implicit in worst-case algorithms, one can in many cases satisfy the bicriteria of having algorithms that are scalable to very large-scale databases and that also have good inferential or predictive properties.

研究の動機と目的

• 大規模データ解析におけるアルゴリズム的視点と統計的視点の根本的でない乖離を解消すること。
• 計算における近似が、ノイズの多いデータに対して頑健性を高める形で、暗黙の正則化をどのように提供するかを調査すること。
• スケーラブルなアルゴリズムが、近似の暗黙の統計的性質を活用することで、優れた推論的・予測的性質を達成できることを示すこと。
• 計算とモデリングを相補的であると捉え直すことで、計算の効率性と統計的信頼性を大規模データセット（MMDS）で統合すること。
• 最悪ケース解析を超えて、近似が実際のノイズを含む実世界のデータにおいて、なぜ結果を暗黙のうちに正則化するのかを理解すること。

提案手法

• 遺伝学およびインターネットデータからの事例研究を用いて、近似のアルゴリズム的出力に与える影響を実証的および理論的に検討する。
• 低ランク行列近似やPageRankのための近似アルゴリズムが、ノイズをフィルタリングすることで暗黙の正則化を実現する仕組みを分析する。
• 近似を一種の暗黙の正則化と捉え、アルゴリズム的近似の選択が入力ノイズに対する安定性をもたらすように定式化する。
• スペクトル法、行列近似、および頑健性・収束性といった統計的性質との間の関係を明らかにする。
• 確率的アルゴリズムおよび埋め込み技術からの理論的知見を応用し、近似がノイズ下でも意味のある構造を保持することを示す。
• 計算と統計を別個の問題として扱うのではなく、近似をスケーラビリティと推論的品質の橋渡しとして統合する視点の転換を提案する。

実験結果

リサーチクエスチョン

• RQ1 大規模データ解析における近似計算は、どのように暗黙の統計的正則化をもたらすのか？
• RQ2 最悪ケースのアルゴリズムは、明示的なノイズモデルなしに、なぜ入力ノイズに対して結果を inherently 安定化させるのか？
• RQ3 近似アルゴリズムの統計的性質を活用することで、実世界のデータ解析における予測性能および頑健性を向上させることは可能か？
• RQ4 アルゴリズム設計が暗黙の正則化をどのように組み込んでいるのか、そしてこれは明示的正則化手法と比べてどのように異なるのか？
• RQ5 アルゴリズム的視点と統計的視点を統合することで、大規模データセットのスケーラブルで信頼性が高く解釈可能な解析をどのように達成できるか？

主な発見

• 近似計算は、正則化を意図的に設計していなくても、データ内のノイズをフィルタリングすることで、暗黙の統計的正則化をもたらすことがある。
• 実証的および理論的証拠により、低ランク行列近似やPageRankのための近似アルゴリズムが入力ノイズに対して頑健であることが示され、内在的な正則化が裏付けられている。
• スケーラブルなアルゴリズムにおける近似の使用は、入力データがノイズを含むか、構造が不完全であっても、解がより安定的かつ一般化可能になる傾向がある。
• 最悪ケースのアルゴリズムを統計的視点から分析することで、推論的・予測的性能を向上させる暗黙の正則化効果が明らかになる。
• アルゴリズム的視点と統計的視点の乖離は、近似がデータ構造とノイズに関する仮定を暗黙的にエンコードしていることに気づくことで解消できる。
• 近似を暗黙の正則化の源と捉えることで、明示的なノイズモデルに依存せずに、スケーラブルで信頼性の高い解析を達成できる。