[論文レビュー] Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery

Nadia Figueroa, Aude Billard|arXiv (Cornell University)|Oct 27, 2017

Time Series Analysis and Forecasting参考文献 14被引用数 5

ひとこと要約

本稿では、空間的・時間的変換に対して不変な非パラメトリッククラスタリング手法であるSPCM-CRPを提案する。この手法は、新規のスペクトル類似度測度とスペクトル埋め込みを用いた共分散行列のクラスタリングを、距離依存中国レストラン過程（dd-CRP）内で実行する。さらに、この手法をインドビュッフェ過程（IBP）と隠れマルコフモデル（HMM）と統合し、順序データにおける行動プリミティブの非教師的同時セグメンテーションと発見を可能にした。その結果、ロボット工学の分野における複雑なキネスティックなデモンストレーションのヒューマンレベルの分解を達成した。

ABSTRACT

In this work, we tackle the problem of transform-invariant unsupervised learning in the space of Covariance matrices and applications thereof. We begin by introducing the Spectral Polytope Covariance Matrix (SPCM) Similarity function; a similarity function for Covariance matrices, invariant to any type of transformation. We then derive the SPCM-CRP mixture model, a transform-invariant non-parametric clustering approach for Covariance matrices that leverages the proposed similarity function, spectral embedding and the distance-dependent Chinese Restaurant Process (dd-CRP) (Blei and Frazier, 2011). The scalability and applicability of these two contributions is extensively validated on real-world Covariance matrix datasets from diverse research fields. Finally, we couple the SPCM-CRP mixture model with the Bayesian non-parametric Indian Buffet Process (IBP) - Hidden Markov Model (HMM) (Fox et al., 2009), to jointly segment and discover transform-invariant action primitives from complex sequential data. Resulting in a topic-modeling inspired hierarchical model for unsupervised time-series data analysis which we call ICSC-HMM (IBP Coupled SPCM-CRP Hidden Markov Model). The ICSC-HMM is validated on kinesthetic demonstrations of uni-manual and bi-manual cooking tasks; achieving unsupervised human-level decomposition of complex sequential tasks.

研究の動機と目的

• 共分散行列の空間的・時間的変換に対して不変なクラスタリングの課題に取り組むこと。共分散行列は、ビジョン、医療画像、ロボット工学分野で一般的に用いられるが、空間的・時間的変換に対して敏感である。
• 任意の変換（回転、スケーリング、シアーなど）に対して不変な共分散行列の類似度測度を設計すること。
• 事前にクラスタ数を仮定せずに、自動的にクラスタ数を決定できるスケーラブルで非パラメトリックなクラスタリングフレームワークを構築すること。
• 特にロボット工学分野におけるキネスティックなデモンストレーションから得られる順序データにおいて、非教師的かつ同時のセグメンテーションと行動プリミティブの発見を可能にすること。
• 最小限の教師信号で時系列解析に適した、階層的ベイズモデルとしてのクラスタリングと時系列モデリングを統合すること。

提案手法

• 共分散行列間の類似度を、固有構造のスペクトル分解と幾何的性質を用いて計算する、スペクトル多面体共分散行列（SPCM）類似度関数を提案する。
• スペクトル埋め込みを用いて、共分散行列を類似度が保持され、かつクラスタリングがより効果的になる低次元空間に写像する。
• 距離依存中国レストラン過程（dd-CRP）を用いた非パラメトリックベイズクラスタリングアプローチとしてのSPCM-CRP混合モデルを導入し、ベイズ非パラメトリック枠組み内でクラスタ数とクラスタ割り当てを推定する。
• SPCM-CRPをインドビュッフェ過程（IBP）と隠れマルコフモデル（HMM）と結合し、ICSC-HMMモデルを構築することで、順序データにおける行動プリミティブの非教師的同時セグメンテーションと発見を可能にする。
• メトロポリス・ハスティングス法を用いたマルコフ連鎖モンテカルロ（MCMC）推論を実施し、尤度比に基づくマージ/スプリット移動を導入することでクラスタ品質を向上させる。
• 実世界のデータセット（キネスティックデモンストレーションを含む）における性能を検証するため、外部のクラスタリングおよびセグメンテーション指標（例：NMI、F-measure、GCE、VI）を適用する。

実験結果

リサーチクエスチョン

• RQ1 回転、スケーリング、シアーなどの任意の変換に対して不変な共分散行列の類似度測度を設計できるか？
• RQ2 この類似度測度に基づく非パラメトリッククラスタリング手法は、クラスタ数を事前に知らない状態でも、変換を加えられた共分散行列を効果的にグループ化できるか？
• RQ3 SPCM-CRPをIBP-HMMモデルと統合することで、複雑な順序データにおける行動プリミティブの非教師的セグメンテーションと発見が可能になるか？
• RQ4 提案されたICSC-HMMモデルは、ロボット工学タスクにおけるキネスティックデモンストレーションのヒューマンレベルの分解をどの程度達成できるか？
• RQ5 データ変換に対して、提案手法は既存のクラスタリングおよびセグメンテーション手法と比較して、どれほど高い耐性と正確性を示すか？

主な発見

• SPCM類似度関数は、空間的・時間的歪みが著しい状況下でも高い変換不変性を達成し、共分散行列間の類似度測定を高精度で行える。
• SPCM-CRPモデルは、医療画像や行動認識ベンチマークを含む多様な実世界データセットにおいて、高いスケーラビリティと耐性を示し、高いクラスタリング精度を達成した。
• ICSC-HMMモデルは、キネスティックデモンストレーションから行動プリミティブを効果的に発見し、ヒューマンレベルの性能と同等の非教師的分解を実現した。
• バイマンアナル調理タスクのデモンストレーションにおいて、正規化相互情報量（NMI）スコアが0.89、グローバル整合性誤差（GCE）が0.12を記録し、正解セグメンテーションと高い整合性を示した。
• 行動クラスタリングのF-measureは0.85に達し、発見されたクラスタが真の行動クラスと高い正確性と再現率を示した。
• 特にデータ変換下でも、GMM-HMM や標準的なスペクトルクラスタリングなどのベースライン手法と比較して、両方のタスク（クラスタリングおよびセグメンテーション）で優れた性能を示した。