[論文レビュー] Efficient Thresholded Correlation using Truncated Singular Value Decomposition

James Baglama, Michael J. Kane+2 more|arXiv (Cornell University)|Dec 22, 2015

Blind Source Separation Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、低ランク部分空間における相関とユークリッド距離の幾何的関係を活用することで、大規模な相関行列のしきい値付き部分集合を、切り捨て特異値分解（SVD）を用いて効率的に計算する新規アルゴリズムを提案する。この手法により、SVDに基づく投影を用いて非適切なベクトルペアを早期に pruning することで、計算量とメモリ使用量を大幅に削減する。394,014列の行列から、相関係数 r ≥ 0.99 の高い相関ペア 913,601 組を、やや高価なクラスタ上で 8 分未塔で同定可能であり、ブルートフォース手法と比較して数十億組のペアを処理する必要がなくなる。

ABSTRACT

Efficiently computing a subset of a correlation matrix consisting of values above a specified threshold is important to many practical applications. Real-world problems in genomics, machine learning, finance other applications can produce correlation matrices too large to explicitly form and tractably compute. Often, only values corresponding to highly-correlated vectors are of interest, and those values typically make up a small fraction of the overall correlation matrix. We present a method based on the singular value decomposition (SVD) and its relationship to the data covariance structure that can efficiently compute thresholded subsets of very large correlation matrices.

研究の動機と目的

• 大規模データ行列におけるすべてのペアワイズ相関を計算することが計算的に非現実的であることを解決すること、特に遺伝子情報学、機械学習、ファイナンス分野において。
• ユーザーが定義したしきい値を超える相関値を持つベクトルペアのサブセットを効率的に特定する手法を開発すること、全相関行列の計算を回避すること。
• 切り捨てSVDを用いてデータの共分散構造を活用し、低次元部分空間における投影距離に基づいて、非適切なペアを早期に pruning すること。
• コード変更なしでマルチコアおよび分散コンピューティング環境に効率的にスケーリング可能な並列処理可能なアルゴリズムを設計すること。
• 実世界のデータワークロードに対応できる実用的でオープンソースのR実装を提供すること。この実装は、しきい値付き相関および距離計算をサポートする。

提案手法

• 本手法は、上位k個の特異ベクトルによって定義される低ランク部分空間にデータベクトルを投影するために切り捨てSVDを用いる。kは主な共分散構造を保持するように選定される。
• 補題1.1を用いて、相関を二乗ユークリッド距離の関数に等置する：cor(a_i, a_j) = 1 - ||a_i - a_j||² / 2 により、距離に基づく pruning が可能になる。
• 補題1.2は、任意の二つのベクトル間の二乗ユークリッド距離を、SVD基底ベクトルへの二乗射影の重み付き和として表現する。重みはσ_j²であり、jとともに減少する。
• アルゴリズムは、上位k個のSVD部分空間における投影距離がしきい値で定義された境界を超える場合、全相関計算を避けるためにペアを pruning する。
• フィルタリングステップは、RのforeachフレームワークとdoRedisバックエンドを用いて並列化され、コード変更を最小限に抑えつつ複数ノードに分散可能である。
• 本手法は、しきい値付き相関およびしきい値付きユークリッド距離の両方をサポートしており、最も相関の高いN組のペアを特定する拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 切り捨てSVDを用いて、すべてのペアワイズ相関を計算せずに、大規模な相関行列内での最も高い相関ペアを効率的に特定できるか？
• RQ2 相関とユークリッド距離の幾何的関係を活用することで、高次元データにおける計算コストとメモリ使用量をどのように低減できるか？
• RQ3 低ランクSVD射影に基づく早期 pruning は、全相関評価を要する候補ペアの数をどの程度削減できるか？
• RQ4 コアおよび分散クラスタ上で、最小限のアーキテクチャ変更で、本アルゴリズムのコア部分を効率的に並列化できるか？
• RQ5 実世界の遺伝子情報学的データセットにおいて、SVDベースのしきい値付き相関手法の性能はブルートフォース計算と比べてどの程度優れているか？

主な発見

• 64コアクラスタ上で、394,014列のメチル化データセットから、相関係数が0.99以上のベクトルペア913,601組を約8分で同定。探索空間は770億組以上から約400万組の候補に削減された。
• 標準的なデスクトップPCでも、同じアルゴリズムが約3時間で同様のタスクを完了し、メモリ制限下でも安定した性能を示した。
• クラスタ版はピークメモリ使用量が994.3 MBであり、64ワーカープロセスにわたるデータ複製による16 GBのオーバーヘッドを伴っていた。これは、メモリ最適化の余地があることを示している。
• アルゴリズムのフィルタリングステップは、RのforeachおよびdoRedisバックエンドを用いて完全に並列化され、64コアにスケーリングするためのコード変更が一切不要であった。
• ブルートフォース評価に比べ、計算時間は95％削減された。ブルートフォース手法では770億組以上のペアワイズ相関を評価する必要があった。
• 本手法は、しきい値付きユークリッド距離やトップN相関ペアの検索へも拡張可能であり、オープンソースのR実装に関数が統合されている。