[論文レビュー] Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates

Anthony Degleris, Ben Antin+2 more|arXiv (Cornell University)|Jun 29, 2019

Blind Source Separation Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、時系列データの時間的モチーフをモデル化するための、高速でスケーラブルなアルゴリズム—階層的交互最小二乗法（HALS）および交互非負最小二乗法（ANLS）—を、畳み込み型非負行列分解（CNMF）に提案する。従来の乗法的更新法に比べ、大規模な合成データおよび実世界のデータにおいて、収束が速く、精度が向上する。

ABSTRACT

Identifying recurring patterns in high-dimensional time series data is an important problem in many scientific domains. A popular model to achieve this is convolutive nonnegative matrix factorization (CNMF), which extends classic nonnegative matrix factorization (NMF) to extract short-lived temporal motifs from a long time series. Prior work has typically fit this model by multiplicative parameter updates---an approach widely considered to be suboptimal for NMF, especially in large-scale data applications. Here, we describe how to extend two popular and computationally scalable NMF algorithms---Hierarchical Alternating Least Squares (HALS) and Alternatining Nonnegative Least Squares (ANLS)---for the CNMF model. Both methods demonstrate performance advantages over multiplicative updates on large-scale synthetic and real world data.

研究の動機と目的

• 時系列データにおける一時的パターンをモデル化する上で不可欠な、畳み込み型非負行列分解（CNMF）のための効率的でスケーラブルな最適化アルゴリズムの不足を解消すること。
• 大規模NMFに対して最適でないことが知られており、同様にCNMFに対しても効果を発揮しない広く用いられる乗法的更新（MU）法の限界を克服すること。
• HALSおよびANLSという2つの高性能NMFアルゴリズムをCNMFフレームワークに拡張し、大規模時系列データの要因分解をより高速かつ正確に行えるようにすること。
• より深い解釈可能性と計算上の利点を提供するため、CNMFの目的関数の新たな数式再定式化を提供すること。
• 座標降下法およびブロック座標降下法に基づく手法（HALSおよびANLS）が、合成データおよび実世界の応用においてMU法を上回ることを示すこと。

提案手法

• 座標降下の原則を用いて、畳み込み型基底テンソル（W）および活性化行列（H）の閉形式更新式を導出することで、HALSアルゴリズムをCNMFに適応する。
• ブロック座標降下フレームワークを活用し、WおよびHの非負最小二乗部分問題を交互に解くことで、ANLSをCNMFに適用する。
• ラグランジュ緩和およびカールシュ＝クーン＝タッカー（KKT）条件を用いて、WおよびHの更新式を閉形式で導出し、非負制約が満たされることを保証する。
• テンソルおよび行列演算を用いてCNMFの目的関数を再定式化することで、効率的な計算と時間的モチーフの明確な解釈を可能にする。
• WおよびHの間で交互に更新を行い、非負制約のもとで再構成誤差を最小化することで、収束性およびスケーラビリティを確保する。
• 畳み込みモデルの構造を活用して最適化中に関連する時間的セグメントを特定し、1ステップあたりの計算複雑性を低減する。

実験結果

リサーチクエスチョン

• RQ1 HALSおよびANLSといった、実証済みの高性能NMFアルゴリズムを、CNMFフレームワークに効果的に拡張できるか？
• RQ2 大規模時系列データにおいて、HALSおよびANLSは標準的な乗法的更新（MU）法と比べて収束速度および再構成精度で優れているか？
• RQ3 CNMF目的関数のどの数式再定式化が、より効率的で解釈可能な最適化を可能にするか？
• RQ4 座標降下およびブロック座標降下法は、実世界の応用におけるCNMFのMU法に対するスケーラブルで頑健な代替手段を提供できるか？
• RQ5 短時間の時間的モチーフを高次元時系列データから抽出する際、HALSおよびANLSはMU法に比べて計算的および統計的な利点をもたらすか？

主な発見

• HALSおよびANLSは、大規模な合成および実世界の時系列データセットにおいて、乗法的更新（MU）法に比べて顕著に収束が速く、再構成誤差が低いことが示された。
• 提案されたHALSおよびANLSアルゴリズムは、スペクトログラムおよび神経細胞のスパイクデータにおける短時間の時間的モチーフの同定において、速度および正確性の両面でMU法を上回る優れた性能を発揮した。
• KKT条件を用いて導出された閉形式の更新式により、非負性が保証され、効率的な最適化が可能となり、Hの更新は残留誤差の局所的時間的セグメントにのみ依存する。
• 目的関数の再定式化により、畳み込み型基底が持続時間Lを持つ時空間的特徴として明確に解釈可能となり、モデルの解釈性が向上した。
• アルゴリズムは大規模データセットにも効果的にスケーリング可能であり、神経科学、音声処理、医療データマイニングなどの実世界の応用に適している。
• 実験的結果から、HALSおよびANLSはMU法よりも反復回数が少なく収束し、特に高ノイズまたは高次元性の環境下でも再構成品質を維持または向上させた。