[論文レビュー] Clustering with Missing Features: A Penalized Dissimilarity Measure based approach

Shounak Datta, Supritam Bhattacharjee+1 more|arXiv (Cornell University)|Apr 22, 2016

Advanced Clustering Algorithms Research被引用数 5

ひとこと要約

本稿では、欠損特徴の存在するデータセットに対して補完処理を伴わずにk-meansおよび階層的凝集型クラスタリングを直接行えるようにするため、特徴重み付きペナルティに基づく不一致尺度（FWPD）を提案する。FWPDは欠損または欠落した特徴に基づいて不一致をペナルティ化し、収束性を保証するとともに、さまざまな欠損タイプを有するベンチマークデータセットにおいて、標準的な補完手法を上回る性能を発揮する。

ABSTRACT

Many real-world clustering problems are plagued by incomplete data characterized by missing or absent features for some or all of the data instances. Traditional clustering methods cannot be directly applied to such data without preprocessing by imputation or marginalization techniques. In this article, we overcome this drawback by utilizing a penalized dissimilarity measure which we refer to as the Feature Weighted Penalty based Dissimilarity (FWPD). Using the FWPD measure, we modify the traditional k-means clustering algorithm and the standard hierarchical agglomerative clustering algorithms so as to make them directly applicable to datasets with missing features. We present time complexity analyses for these new techniques and also undertake a detailed theoretical analysis showing that the new FWPD based k-means algorithm converges to a local optimum within a finite number of iterations. We also present a detailed method for simulating random as well as feature dependent missingness. We report extensive experiments on various benchmark datasets for different types of missingness showing that the proposed clustering techniques have generally better results compared to some of the most well-known imputation methods which are commonly used to handle such incomplete data. We append a possible extension of the proposed dissimilarity measure to the case of absent features (where the unobserved features are known to be undefined).

研究の動機と目的

• 補完処理や周辺化に依存せずに、欠損特徴を有するデータセットのクラスタリング課題に対処すること。
• 特徴頻度および構造的欠落に基づいて、適切に欠損特徴をペナルティ化する不一致尺度を開発すること。
• 従来のk-meansおよび階層的凝集型クラスタリングアルゴリズムを、FWPDを用いて不完全なデータに対して直接適用可能にすること。
• FWPDに基づくk-meansアルゴリズムが有限回の反復内で局所最適解に収束することを理論的に証明すること。
• ランダムおよび特徴依存の欠損パターン下で、ベンチマークデータセットを用いた性能評価を行い、既存の補完技術と比較して優れていること。

提案手法

• 各特徴が保持されているインスタンス数に基づく正規化されたペナルティ項として、特徴重み付きペナルティ（FWP）を提案する。特に、特徴がまれな場合に欠損特徴に対してより高いペナルティを与える。
• FWPDを、正規化されたユークリッド距離とFWPの凸結合として定義する。ハイパーパrameter αが両者のバランスを制御する。
• 従来の距離尺度の代わりにFWPDを用いることで、不完全なデータを直接処理可能なように、標準k-meansおよび階層的凝集型クラスタリングを変更する。
• 特徴が定義されていないことが事前に分かっている構造的欠損（ absent features）を扱うために、非重複する特徴集合をペナルティ化する修正版FWPDを導入する。
• 理論的分析により、FWPDに基づくk-meansが有限回の反復内で局所最適解に収束することを証明する。また、半距離空間の性質を満たすことも示す。
• 実験的検証のため、ランダムおよび特徴依存の欠損パターンを生成するためのシミュレーションフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 補完処理や周辺化を必要とせずに、クラスタリングにおいて欠損特徴を効果的に処理できる不一致尺度を設計できるか？
• RQ2 提案されたFWPD測度は、多様な欠損パターン下で、標準的な補完手法と比較してクラスタリング精度に優れているか？
• RQ3 FWPDに基づくk-meansアルゴリズムは局所最適解に収束するのか？ その理論的証明は可能か？
• RQ4 MCAR、MAR、MNARの異なるタイプの欠損および特徴依存性の下で、FWPDベースのクラスタリングの性能はどのように変化するか？
• RQ5 特徴が定義されていないことが事前に分かっている構造的欠損（ absent features）を処理できるように、FWPDを拡張できるか？

主な発見

• 理論的に、FWPDに基づくk-meansアルゴリズムが有限回の反復内で局所最適解に収束することが証明された。
• 提案手法は、さまざまな欠損状況下で複数のベンチマークデータセットにおいて、代表的な補完手法を上回るクラスタリング性能を達成した。
• FWPD測度は特徴の頻度に基づいて欠損特徴を効果的にペナルティ化し、希少な特徴に高い重みを割り当てることで、クラスタリングのロバスト性を向上させた。
• 欠損が特徴依存的であっても、補完に基づくアプローチを上回る性能を示し、複雑な欠損メカニズムに対しても耐性を示した。
• 構造的欠損（ absent features）に対応するFWPDの拡張は、半距離空間の性質を維持し、定義されていない特徴を有するデータセットに対する直接クラスタリングを可能にした。
• 実験により、欠損率が高い状況下でも、FWPDベースのクラスタリングが補完に基づく代替手法よりも正確かつ安定していることが確認された。