[論文レビュー] A Novel Approach for Imputation of Missing Attribute Values for Efficient Mining of Medical Datasets - Class Based Cluster Approach

Yelipe UshaRani, P. Sammulal|arXiv (Cornell University)|May 3, 2016

Artificial Intelligence in Healthcare参考文献 15被引用数 7

ひとこと要約

本稿では、医療データセットにおける欠損属性値の補完を目的として、クラスに基づくクラスタリング手法を提案する。この手法は、データ品質の向上と、効率的なマイニングを支援することを目的としている。類似した医療記録をクラスラベルに基づいてグループ化し、クラスタの重心を用いて欠損値を推定することで、次元削減を実現するとともに、分類精度を向上させる。実際の医療データを用いた事例研究により、その有効性が実証されている。

ABSTRACT

Missing attribute values are quite common in the datasets available in the literature. Missing values are also possible because all attributes values may not be recorded and hence unavailable due to several practical reasons. For all these one must fix missing attribute vales if the analysis has to be done. Imputation is the first step in analyzing medical datasets. Hence this has achieved significant contribution from several medical domain researchers. Several data mining researchers have proposed various methods and approaches to impute missing values. However very few of them concentrate on dimensionality reduction. In this paper, we discuss a novel imputation framework for missing values imputation. Our approach of filling missing values is rooted on class based clustering approach and essentially aims at medical records dimensionality reduction. We use these dimensionality records for carrying prediction and classification analysis. A case study is discussed which shows how imputation is performed using proposed method.

研究の動機と目的

• 医療データセットにおける欠損属性値の課題に取り組み、これが効果的なデータマイニングおよび分析を妨げることを防ぐ。
• 新規の補完フレームワークを用いて、臨床的意味を保持したままデータ次元を削減する。
• クラスベースクラスタリングを用いた補完により、分類および予測タスクの精度を向上させる。
• 実世界の医療データ（欠損値率が非常に高い）に特化した、堅牢でスケーラブルなソリューションを提供する。

提案手法

• 本手法は、類似したクラスラベル（例：疾患の予後）を持つ医療記録をクラスタにグループ化するクラスベースクラスタリングを採用する。
• 各クラスタ内で、利用可能な属性に基づいてクラスタの重心値を用いて、欠損属性値を補完する。
• 関連性の高い特徴量のクラスタリングされたサブセットに焦点を当てることで、次元削減を実現し、ノイズと冗長性を最小限に抑える。
• 反復的に補完を実行し、クラスタ固有のパターンを活用して推定値を改善し、誤差伝搬を最小限に抑える。
• 実際の医療データセットを用いてフレームワークを検証し、補完後の分類性能を評価する。
• 計算効率が高く、大規模な医療データアプリケーションに適した設計である。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、臨床的データ意味を保持したまま、医療データセットにおける欠損属性値を効果的に補完できるか？
• RQ2 従来の手法と比較して、クラスベースクラスタリングはどの程度補完精度を向上させるか？
• RQ3 提案手法は、予測性能を損なわず、データ次元を削減できるか？
• RQ4 補完フレームワークは、実際の医療データセットにおける下流の分類および予測精度にどのように影響を与えるか？

主な発見

• 提案されたクラスベースクラスタリングによる補完手法は、医療データセットにおける欠損値の影響を著しく低減させ、データ品質を向上させた。
• クラスタ重心を用いた補完は、平均値補完やKNNなどのベースライン手法と比較して、より高い分類精度を達成した。
• 本手法は、クラス固有の特徴パターンに焦点を当てることで、効果的にデータ次元を削減した。
• 実際の医療データセットを用いた事例研究により、補完後の分類タスクで性能が向上したことが実証された。
• 本手法は、欠損値率が非常に高い状況でも、臨床的解釈可能性を維持したまま、堅牢に動作することが示された。
• フレームワークはスケーラブルであり、医療データマイニングパイプラインへの統合に適している。