[論文レビュー] Combining datasets to increase the number of samples and improve model fitting

Thu Nguyen, Rabindra Khadka+4 more|arXiv (Cornell University)|Oct 11, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、重複する特徴量を持つが同一でないカラムを有するデータセットを組み合わせるための新しいフレームワークであるComImpを提案する。垂直積み上げの過程で欠損特徴量を補完することで、特に小規模データセットにおいてモデルの適合性を顕著に向上させる。変種のPCA-ComImpは、次元削減を補完の前に行い、高次元データのノイズを低減する。実験の結果、転移学習と組み合わせることで性能が向上することが示された。

ABSTRACT

For many use cases, combining information from different datasets can be of interest to improve a machine learning model's performance, especially when the number of samples from at least one of the datasets is small. However, a potential challenge in such cases is that the features from these datasets are not identical, even though there are some commonly shared features among the datasets. To tackle this challenge, we propose a novel framework called Combine datasets based on Imputation (ComImp). In addition, we propose a variant of ComImp that uses Principle Component Analysis (PCA), PCA-ComImp in order to reduce dimension before combining datasets. This is useful when the datasets have a large number of features that are not shared between them. Furthermore, our framework can also be utilized for data preprocessing by imputing missing data, i.e., filling in the missing entries while combining different datasets. To illustrate the power of the proposed methods and their potential usages, we conduct experiments for various tasks: regression, classification, and for different data types: tabular data, time series data, when the datasets to be combined have missing data. We also investigate how the devised methods can be used with transfer learning to provide even further model training improvement. Our results indicate that the proposed methods are somewhat similar to transfer learning in that the merge can significantly improve the accuracy of a prediction model on smaller datasets. In addition, the methods can boost performance by a significant margin when combining small datasets together and can provide extra improvement when being used with transfer learning.

研究の動機と目的

• 同一でないカラム構造を有するデータセットを統合する課題に取り組み、モデル性能を向上させること。
• 同一のカラム構造を必要とする従来のデータ統合手法の制限を克服すること。
• 特に医療・科学分野において、サンプル数が少ない状況でのモデル適合性を向上させること。
• データセット統合の過程で欠損データを補完することで処理する前処理パイプラインを開発すること。
• ComImpと転移学習の相乗効果を調査し、分類および回帰性能をさらに向上させること。

提案手法

• ComImpは共有される特徴量に基づいてデータセットを垂直に積み上げ、非重複特徴量については一時的なプレースホルダとしてのカラムを挿入する。
• 積み上げられたデータセットに対して補完を適用し、選択された補完アルゴリズムを用いて欠損値を埋める。
• PCA-ComImpは、補完の前段階で主成分分析（PCA）を適用し、非重複特徴量に起因するノイズを低減する。
• このフレームワークは、表形式データおよび時系列データをサポートし、さまざまな機械学習モデルと互換性がある。
• 補完は統合の目的だけでなく、不完全なデータセットに対する単体の前処理技術としても利用可能である。
• 転移学習と統合し、組み合わせたデータで学習することで汎化性能と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 サンプル数が少ない状況において、同一でないカラム構造を持つデータセットを統合することで、モデル性能が向上するか？
• RQ2 補完の品質が、統合データセットで学習されたモデルの性能に与える影響は何か？
• RQ3 PCAによる次元削減が、統合データセットアプローチのロバスト性と正確性を向上させるか？
• RQ4 限られたデータで微調整する際、ComImpが転移学習の性能を向上させるか？
• RQ5 重複する特徴量が非重複特徴量に比べて極めて少ない場合、ComImpはどのような条件下で失敗するか？

主な発見

• ComImpは小規模データセットにおけるモデル精度を顕著に向上させ、Geneデータセットではロジスティック回帰でテスト精度が0.998に達した。
• 転移学習と組み合わせた場合、ComImpはテスト精度を最大0.022向上させた（例：EEGデータセットでSVMを用いた場合、0.839から0.849に向上）。
• PCA-ComImpは高次元データにおけるノイズを低減し、標準的なComImpと比較してモデルの安定性と性能が向上した。
• 重複する特徴量が非常に少ない場合（例：Seedデータセットでは1つだけ）、補完バイアスが過剰になるため、ComImpは性能を低下させることがある。
• 補完手法の選択がモデルの結果に顕著な影響を及ぼし、一部の手法は他の手法よりも高い精度を示した。
• ComImpは欠損データに対する効果的な前処理ツールとして機能し、異種のデータソースから完全なデータセットを構築可能にした。