[論文レビュー] One-Pass Incomplete Multi-view Clustering

Menglei Hu, Songcan Chen|arXiv (Cornell University)|Mar 2, 2019

Face and Expression Recognition参考文献 35被引用数 8

ひとこと要約

本稿では、欠損インスタンスを効率的に処理するため、正則化および重み付き行列分解を活用した一括処理フレームワークであるOPIMCを提案する。OPIMCは2つのグローバル統計を導入することで、直接的なクラスタリング出力と早期収束検出を可能にし、4つの実世界データセットで最先端の性能を達成するとともに、時間的・メモリ的使用量を著しく削減する。

ABSTRACT

Real data are often with multiple modalities or from multiple heterogeneous sources, thus forming so-called multi-view data, which receives more and more attentions in machine learning. Multi-view clustering (MVC) becomes its important paradigm. In real-world applications, some views often suffer from instances missing. Clustering on such multi-view datasets is called incomplete multi-view clustering (IMC) and quite challenging. To date, though many approaches have been developed, most of them are offline and have high computational and memory costs especially for large scale datasets. To address this problem, in this paper, we propose an One-Pass Incomplete Multi-view Clustering framework (OPIMC). With the help of regularized matrix factorization and weighted matrix factorization, OPIMC can relatively easily deal with such problem. Different from the existing and sole online IMC method, OPIMC can directly get clustering results and effectively determine the termination of iteration process by introducing two global statistics. Finally, extensive experiments conducted on four real datasets demonstrate the efficiency and effectiveness of the proposed OPIMC method.

研究の動機と目的

• 大規模なマルチビューデータセットにおける欠損インスタンスを伴うクラスタリングの課題に取り組む。既存のオフライン手法は、高い計算コストとメモリ使用量のため、この問題に対処することが困難である。
• 再処理を回避し、時間計算量を低減する、オンラインでスケーラブルな不完全なマルチビュークラスタリングの解決策を開発する。
• 反復的検証や固定パス数に依存せずに、直接的なクラスタリング出力と自動収束検出を可能にする。
• 複数のビューからのデータが欠損しがちな実世界の応用において、ロバスト性と効率性を向上させる。
• ウェブマイニングや動画分析のようなストリーミングまたは大規模データ環境に適した実用的フレームワークを提供する。

提案手法

• OPIMCは、不完全なマルチビューデータから低ランク表現を学習するために正則化行列分解（RMF）を用いる。これにより、複数のビュー間で一貫性が保たれる。
• 欠損エントリを処理するために重み付き行列分解（WMF）が用いられ、最適化過程で未観測インスタンスに低い重みが割り当てられる。
• 収束の監視とイテレーションプロセスの早期終了を可能にするために、2つのグローバル統計（累積損失とクラスタ中心の安定性）が導入される。
• データはチャンク（ブロック単位）で処理され、最小限のメモリフットプリントで一括学習が可能となる。
• 目的関数には、ビュー固有の再構成誤差、因子行列への正則化、およびデータ忠実度と滑らかさのトレードオフを制御するバランスパラメータαが統合される。
• OPIMCはデータブロックごとに因子行列を段階的に更新するため、ストリーミングまたは大規模データ処理に適している。

実験結果

リサーチクエスチョン

• RQ1 一括処理フレームワークとして、大規模データセットにおける不完全なマルチビュークラスタリングを、高いスケーラビリティと低メモリ使用量で効果的に処理できるか？
• RQ2 完全なデータパスや検証を必要とせずに、グローバル統計を用いて収束を自動的に特定できるか？
• RQ3 正則化および重み付き行列分解の統合が、不完全なマルチビューデータにおけるクラスタリング性能をどの程度向上させるか？
• RQ4 ブロックサイズが、一括処理設定におけるクラスタリング精度と収束速度に与える影響は何か？
• RQ5 処理中に劣化したクラスタ中心を補完することで、クラスタリングの安定性と性能が顕著に向上するか？

主な発見

• OPIMCは、WebKB、Digit、Reuters、YouTubeの4つの実世界データセットで、既存のオフラインおよびオンライン手法を上回る最先端のクラスタリング性能を達成した。
• クラスタリング性能における最適なハイパーパrameter α は、WebKBで10、Digitで0.1、Reutersで0.01、YouTubeで1であった。これは、ビューごとの感受性を示している。
• 2つのグローバル統計により収束が信頼性高く検出され、平均損失は5〜10パス後に安定化し、NMIおよび調整ランダ指数（AC）も損失の収束と整合して安定値に達した。
• 大きなブロックサイズ（例：s=250）は、Digitデータセットでより良いクラスタリング結果をもたらしたが、それと同時にメモリ使用量の増加を伴った。
• 劣化したクラスタ中心を補完する処理（OPIMC-F）は、補完を行わないもの（OPIMC-NF）よりも顕著に性能が向上した。これは、オンライン学習における中心の安定性の重要性を示している。
• 有効な早期停止により、オフライン手法と比較してクラスタリング時間は著しく短縮され、収束がより少ないパス数で達成された。