[論文レビュー] A general decision framework for structuring computation using Data Directional Scaling to process massive similarity matrices

Daniel J. Lawson, Niall M. Adams|arXiv (Cornell University)|Mar 17, 2014

Face and Expression Recognition参考文献 51被引用数 4

ひとこと要約

本稿では、データ方向スケーリングを用いた統計的意思決定フレームワークを提案し、順次に情報量の多い対のペアを評価対象として選択することで、巨大な類似度行列の計算を効率的に行う。計算コストを低減しつつ高い正確性を維持する。この手法はガウス過程エミュレータと損失に基づく選択基準を組み合わせており、集団ゲノミクスの応用において、ランダム選択や事前分布に基づくヒューリスティクスよりも優れた性能を発揮する。

ABSTRACT

As datasets grow it becomes infeasible to process them completely with a desired model. For giant datasets, we frame the order in which computation is performed as a decision problem. The order is designed so that partial computations are of value and early stopping yields useful results. Our approach comprises two related tools: a decision framework to choose the order to perform computations, and an emulation framework to enable estimation of the unevaluated computations. The approach is applied to the problem of computing similarity matrices, for which the cost of computation grows quadratically with the number of objects. Reasoning about similarities before they are observed introduces difficulties as there is no natural space and hence comparisons are difficult. We solve this by introducing a computationally convenient form of multidimensional scaling we call `data directional scaling'. High quality estimation is possible with massively reduced computation from the naive approach, and can be scaled to very large matrices. The approach is applied to the practical problem of assessing genetic similarity in population genetics. The use of statistical reasoning in decision making for large scale problems promises to be an important tool in applying statistical methodology to Big Data.

研究の動機と目的

• データセットサイズの増加に伴い計算量が二次的に増加するため、巨大な類似度行列の処理が計算的に非現実的であるという問題に対処すること。
• 完全な評価が非現実的であっても、早期に有用な部分的な結果を得られるように、計算を優先順位付けする逐次的意思決定フレームワークを開発すること。
• 完全な行列評価を避けるために、計算的に効率的なエミュレータを用いて未計算の類似度を正確に推定できるようにすること。
• 潜在変数モデルに依存せずに、類似度空間内の主要な構造的方向を特定する手法として、データ方向スケーリングを導入すること。
• 集団ゲノミクスの実世界のデータにおいて、類似度計算が高コストで構造が複雑であるという文脈で、フレームワークの有効性を示すこと。

提案手法

• フレームワークは、予測誤差を最小化することを目的として、類似度計算のための対のペアを逐次的に選択する損失関数を用いる。
• 未計算の類似度を、すでに評価済みのペアに基づいて予測するため、ガウス過程エミュレータが使用され、将来の損失を低コストで推定可能となる。
• データ方向スケーリングは、評価済みの類似度の構造を分析することで、類似度空間内の主要な方向を特定し、効率的な次元削減を可能にする。
• 選択オペレータは、予測誤差の交差検証推定値を用いて、損失低減の見積もりに基づいて次のペアを選択する。
• 新しい類似度が計算されるたびに、エミュレータと選択基準を動的に更新することで、オンライン学習をサポートする。
• 本フレームワークは、合成シミュレーションと53の民族集団を含む実際の集団ゲノミクスデータセットの両方を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットにおける類似度行列推定において、逐次的意思決定フレームワークは計算コストを低減しつつ高い正確性を維持できるか？
• RQ2 標準的手法と比較して、データ方向スケーリングは類似度行列近似の効率性と正確性をどのように向上させるか？
• RQ3 実世界の遺伝的類似度解析において、本フレームワークはランダム選択や事前分布に基づくヒューリスティクスをどの程度上回るか？
• RQ4 エミュレータの選択と損失関数の設計は、フレームワークの収束性と性能にどのような影響を与えるか？
• RQ5 現代の集団ゲノミクスに見られるような非常に大規模なデータセットに対しても、本フレームワークは効果的にスケーリング可能か？

主な発見

• フレームワークは、類似度行列回復における時間経過に伴う平均二乗誤差（RMSE）の低減において、ランダム選択を著しく上回った。
• Mixture Modelエミュレータを用いたRMSE選択基準により、ランダム選択および事前分布に基づくヒューリスティクスよりも収束が早く、誤差も低かった。
• 53の民族集団を含む集団ゲノミクスデータセットへの応用では、100個の戦略的なペアの選択で高品質な類似度行列を回復可能であった。
• データ方向スケーリングにより、高価な潜在変数モデリングを必要とせずに、類似度空間内の主要な構造的方向を迅速に特定できた。
• 大幅な計算削減で高い予測正確性を達成したため、大規模な類似度行列処理が現実可能となった。
• 結果から、行列補完のモデル仮定が成り立たない場合でも、逐次計算における統計的推論が、行列補完の強力な代替手段となり得ることが示された。