[論文レビュー] Scalable methods for nonnegative matrix factorizations of near-separable tall-and-skinny matrices

Austin R. Benson, Jason D. Lee+2 more|arXiv (Cornell University)|Feb 27, 2014

Gene expression and cancer classification参考文献 27被引用数 17

ひとこと要約

本稿では、直交変換（特にTSQR）を用いて分離性を保持する、近接分離型の背丈高いスリムな行列（行数が列数よりはるかに多い行列）に対するスケーラブルでワンパスの非負値行列分解（NMF）アルゴリズムを提案する。この手法により、ストリーミング、マルチコア、MapReduceアーキテクチャ上で効率的な計算が可能となり、テラバイトスケールのデータにおいて、これまでで最大のNMF因子分解を達成した。応用例では、熱伝導シミュレーションおよびフローサイトメトリーのデータから構造的洞察が得られた。

ABSTRACT

Numerous algorithms are used for nonnegative matrix factorization under the assumption that the matrix is nearly separable. In this paper, we show how to make these algorithms efficient for data matrices that have many more rows than columns, so-called "tall-and-skinny matrices". One key component to these improved methods is an orthogonal matrix transformation that preserves the separability of the NMF problem. Our final methods need a single pass over the data matrix and are suitable for streaming, multi-core, and MapReduce architectures. We demonstrate the efficacy of these algorithms on terabyte-sized synthetic matrices and real-world matrices from scientific computing and bioinformatics.

研究の動機と目的

• 科学計算やバイオインフォマティクスで一般的な、巨大で背丈高いスリムな行列（m ≫ n）に対して、従来のNMFアルゴリズムの計算非効率性を解消すること。
• 大規模な行列に対して複数回のパスを必要としたり、実行不可能な従来のNMF手法のスケーラビリティのボトル neck を克服すること。
• ワンパス、分散処理、ストリーミング環境に対応しつつも、NMFの分離性を保つ手法の開発。
• 次元削減を活用して、近接分離型行列の複数のランク（r）における因子分解品質の効率的探索を可能にすること。
• 熱伝導シミュレーションやフローサイトメトリーなどの実世界の科学的応用における大規模NMFの実用的ツールの提供。

提案手法

• 近接分離構造を保持しつつ、背丈高いスリムな行列の次元を低減するため、直交行列変換（特にTSQR）を適用する。
• 変換された行列を用いて、凸幾何学的手法（例えば、錐包の頂点検出）により極端な列（基底）を同定する。
• NMFの第二段階（非負の係数の求解）を、低次元化された問題に対して非負最小二乗法（NNLS）を用いて行う。
• ストリーミングおよび分散環境（例：MapReduce）に適した、データ行列を一度だけ処理するワンパスアルゴリズムを設計する。
• TSQRカーネルを活用し、GPU、MPI、Hadoopベースのシステムと互換性を持つ、スケーラブルでモジュラーな実装を実現する。
• 直交変換が分離性条件を維持することを活かし、因子分解の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 テラバイトスケールの巨大な背丈高いスリムな行列（m ≫ n）に対して、データをワンパスで処理できる近接分離型NMFは、どのように効率的に計算可能か？
• RQ2 TSQRのような直交変換を用いることで、NMFにおける計算コストを低減しつつ、分離性をどのように保持できるか？
• RQ3 ワンパスで分散処理可能なNMFアルゴリズムは、実際の科学的応用において、どの程度テラバイトサイズの行列までスケーリング可能か？
• RQ4 熱伝導シミュレーションやフローサイトメトリーなどの大規模科学的データに対するNMF因子分解から、どのような構造的洞察が得られるか？
• RQ5 分離性仮定の下で、実世界のデータにおいて、異なる極端な列選択アルゴリズム（SPA、XRAY、GP）の精度と安定性は、どのように比較できるか？

主な発見

• 提案手法は、合成および実世界のテラバイトスケールの行列において、これまでで最大のNMF因子分解を成功裏に実行した。
• フローサイトメトリーのデータ（Kronecker積処理後：40,000セル × 25列）に対して、345 GBの行列を分析可能にし、1つの蛍光マークター（CD8）に冗長性が存在する可能性が明らかになった。
• ランク r=16 の場合、XRAYとGPはほぼ同一の極端な列を選択したが、SPAは高い誤差と発散する列選択を示し、小ランクにおける不安定性が判明した。
• フローサイトメトリーのデータの係数行列Hには対角クラスタリングが見られ、非極端なデータ点が近隣の極端な列によってよく近似されていることが示された。
• SPAの相対誤差は、r=22に達するまで著しく低下せず、近接分離性のもとでは、標準的手法が必要以上に多くの成分を要することが示唆された。
• 効率的な次元削減のおかげで、複数のr値における因子分解品質の迅速な評価が可能となり、例えばフローサイトメトリーではr=16が適切なランク選択であることを支援する。