[論文レビュー] Clustering on Multiple Incomplete Datasets via Collective Kernel Learning

Weixiang Shao, Xiaoxiao Shi+1 more|arXiv (Cornell University)|Oct 4, 2013

Face and Expression Recognition参考文献 22被引用数 18

ひとこと要約

本稿では、複数の不完全なデータセットを、共有インスタンスの整合性をとることで反復的にカーネル行列を補完する方法であるCollective Kernel Learning (CoKL)を提案する。どのデータセットも完全でない状況においても、従来手法の2倍のNMIを達成する。

ABSTRACT

Multiple datasets containing different types of features may be available for a given task. For instance, users' profiles can be used to group users for recommendation systems. In addition, a model can also use users' historical behaviors and credit history to group users. Each dataset contains different information and suffices for learning. A number of clustering algorithms on multiple datasets were proposed during the past few years. These algorithms assume that at least one dataset is complete. So far as we know, all the previous methods will not be applicable if there is no complete dataset available. However, in reality, there are many situations where no dataset is complete. As in building a recommendation system, some new users may not have a profile or historical behaviors, while some may not have a credit history. Hence, no available dataset is complete. In order to solve this problem, we propose an approach called Collective Kernel Learning to infer hidden sample similarity from multiple incomplete datasets. The idea is to collectively completes the kernel matrices of incomplete datasets by optimizing the alignment of the shared instances of the datasets. Furthermore, a clustering algorithm is proposed based on the kernel matrix. The experiments on both synthetic and real datasets demonstrate the effectiveness of the proposed approach. The proposed clustering algorithm outperforms the comparison algorithms by as much as two times in normalized mutual information.

研究の動機と目的

• すべてのデータセットが不完全な状況におけるクラスタリングの課題に取り組むこと。これは、従来のマルチビュークラスタリング手法が取り扱えない状況である。
• 少なくとも1つの完全なデータセットが必須である従来のアプローチの制限を克服すること。
• 欠損特徴を直接補完することなく、効率的な反復的手法を用いてカーネル行列を補完する方法を開発すること。
• KCCA（Kernel Canonical Correlation Analysis）と共同カーネル学習を統合し、クラスタリング性能を向上させること。

提案手法

• 複数のデータセットにおける共有インスタンスの類似度を整合させることで、不完全なカーネル行列を共同カーネル学習によって補完する。
• 複数のデータセット間で重複するインスタンスのカーネル行列の乖離を最小化する最適化問題を定式化する。
• 初期の欠損値推定値を用いて、制約付き最適化問題を反復的に解き、カーネル行列を更新する。
• 完成したカーネル行列に対してKCCA（Kernel Canonical Correlation Analysis）を適用し、複数のビュー間で相関する射影を求める。
• KCCA射影空間上で標準的なクラスタリング（例：スペクトルクラスタリング）を実行し、最終的なクラスタ割り当てを取得する。
• 反復的補完プロセスの起動のために、カーネル行列の欠損値をデフォルト値（例：ゼロまたは平均）で初期化する。

実験結果

リサーチクエスチョン

• RQ1 すべてのデータセットが不完全な状況でも、どの完全なデータセットも利用しないで効果的なクラスタリングが可能か？
• RQ2 共有インスタンスの整合性を用いて、複数の不完全なデータセット間でカーネル行列をどれほど効率的に補完できるか？
• RQ3 少なくとも1つの完全なデータセットを必要とする手法と比較して、共同カーネル学習はクラスタリング性能を向上させるか？
• RQ4 欠損データ率の増加に伴い、CoKLの収束特性はどのように変化するか？

主な発見

• 提示されたクラスタリングアルゴリズムは、合成データおよび実世界のデータセットにおいて、NMI（正規化相互情報量）でベースライン手法に比べ最大200%の向上を達成した。
• CoKLはすべての実験設定において10回未満の反復で収束し、高速な収束を示した。
• 欠損率が高くなるに従い、収束までの反復回数はわずかに増加するが、非常に小さな割合で線形に増加する。
• UCIのシードデータセットでは、欠損率に関係なく収束がほぼ一定のままであり、頑健性が確認された。
• 手書きオランダ語数字認識データセットでは、収束時間が欠損率に比例して線形に増加するが、依然として効率的であった。
• 本手法は、プロフィール、行動、信用データが一切ない新規ユーザーのような、実世界の完全に不完全なデータセットの状況を効果的に処理できる。