[論文レビュー] SPARTan: Scalable PARAFAC2 for Large & Sparse Data

Ioakeim Perros, Evangelos E. Papalexakis+5 more|arXiv (Cornell University)|Mar 13, 2017

Tensor decomposition and applications参考文献 20被引用数 16

ひとこと要約

SPARTan は、中間計算における構造的最適化を活用することで、大規模かつスパースなテンソルの PARAFAC2 分解をスケーラブルかつメモリ効率よく行うアルゴリズムである。これにより、先行手法と比較して最大22倍の高速化を達成した。本手法は、縦断的電子的健康記録のような不規則で時間的にずれたデータの実用的分析を可能にし、臨床的に解釈可能なフェノタイプと時間的変化パターンを抽出する。

ABSTRACT

In exploratory tensor mining, a common problem is how to analyze a set of variables across a set of subjects whose observations do not align naturally. For example, when modeling medical features across a set of patients, the number and duration of treatments may vary widely in time, meaning there is no meaningful way to align their clinical records across time points for analysis purposes. To handle such data, the state-of-the-art tensor model is the so-called PARAFAC2, which yields interpretable and robust output and can naturally handle sparse data. However, its main limitation up to now has been the lack of efficient algorithms that can handle large-scale datasets. In this work, we fill this gap by developing a scalable method to compute the PARAFAC2 decomposition of large and sparse datasets, called SPARTan. Our method exploits special structure within PARAFAC2, leading to a novel algorithmic reformulation that is both fast (in absolute time) and more memory-efficient than prior work. We evaluate SPARTan on both synthetic and real datasets, showing 22X performance gains over the best previous implementation and also handling larger problem instances for which the baseline fails. Furthermore, we are able to apply SPARTan to the mining of temporally-evolving phenotypes on data taken from real and medically complex pediatric patients. The clinical meaningfulness of the phenotypes identified in this process, as well as their temporal evolution over time for several patients, have been endorsed by clinical experts.

研究の動機と目的

• 大規模でスパースな PARAFAC2 分解のための効率的アルゴリズムの不足に対処すること。
• 電子的健康記録（EHR）に一般的に見られる不規則で時間的にずれたテンソルデータのスケーラブルな分析を可能にすること。
• 採用を阻害していた、先行する PARAFAC2 実装における性能およびメモリ制限を克服すること。
• 実世界のデータサイズにスケーラブルである一方で、PARAFAC2 の一意性と解釈可能性を保持する手法の開発。
• 実際の EHR データを用いた、医学的に複雑な小児患者のフェノタイピングを通じて臨床的有用性の実証。

提案手法

• 中間テンソル演算における隠れた構造を活用することで、PARAFAC2 のコア計算カーネルを再定式化する。
• 中間計算をブラックボックスとして扱わない、革新的なアルゴリズム定式化を導入する。
• 因子分解プロセスにおけるスパarsity と行列構造を活用することで、メモリ使用量と計算時間を最適化する。
• スパースで時間的にずれたデータに特化した、因子行列 Uk、Sk、V の効率的更新を用いた反復最適化を実装する。
• PARAFAC2 のモード1の可変性を尊重しつつ、計算効率を維持するブロック反復スキームを採用する。
• オーバーヘッドを低減し、キャッシュ効率を向上させるために、メモリに配慮したデータレイアウトと計算パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 大規模でスパースかつ不規則に整列したテンソルデータセットに対して、PARAFAC2 を効率的にスケーリングできるか？
• RQ2 正確性を損なわず、大幅な高速化とメモリ削減を実現するためのアルゴリズム的改革は何か？
• RQ3 SPARTan は、数百万の非ゼロ要素と数千人の患者を含む実世界の EHR データを処理できるか？
• RQ4 SPARTan が EHR データから同定したフェノタイプは、臨床的に意味のある時間的変化パターンを反映しているか？
• RQ5 大規模でスパースな計算下でも、PARAFAC2 の解釈可能性と一意性は保持されているか？

主な発見

• SPARTan は、合成データおよび実データの両方で、最良の先行実装と比較して最大22倍の高速化を達成した。
• SPARTan は、メモリ不足エラーにより失敗するというベースライン実装では処理が不可能なデータセットを正常に処理できた。
• 1TB メモリサーバー上では、SPARTan は 5億個の非ゼロ要素を含むデータセットを2時間未満で処理完了したのに対し、ベースラインはメモリを枯渇した。
• SPARTan は、医学的に複雑な小児患者8,044名のコhortに対して、臨床的に意味のあるフェノタイプを同定し、専門家による検証が得られた時間的傾向を示した。
• SPARTan から得られた時間的シグネイチャは、臨床専門家による確認を得た複雑で患者固有のフェノタイプの時間的変化パターンを明らかにした。
• SPARTan は、縦断的 EHR データのスケーラブルで解釈可能かつ頑健なフェノタイピングを可能にし、医療分析分野における実用的有用性を示した。