[논문 리뷰] Combining datasets to increase the number of samples and improve model fitting

Thu Nguyen, Rabindra Khadka외 4명|arXiv (Cornell University)|2022. 10. 11.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 공통된 특징을 가진 데이터셋을 수직으로 스택하면서 누락된 특징을 보간을 통해 채우는 ComImp라는 새로운 프레임워크를 제안한다. 이는 특히 소규모 데이터셋에서 모델 피팅을 크게 향상시킨다. ComImp의 변종인 PCA-ComImp는 고차원 데이터에서 잡음을 줄이기 위해 보간 이전에 차원 축소를 적용하며, 실험 결과 전이 학습과 조합했을 때 성능 향상이 확인된다.

ABSTRACT

For many use cases, combining information from different datasets can be of interest to improve a machine learning model's performance, especially when the number of samples from at least one of the datasets is small. However, a potential challenge in such cases is that the features from these datasets are not identical, even though there are some commonly shared features among the datasets. To tackle this challenge, we propose a novel framework called Combine datasets based on Imputation (ComImp). In addition, we propose a variant of ComImp that uses Principle Component Analysis (PCA), PCA-ComImp in order to reduce dimension before combining datasets. This is useful when the datasets have a large number of features that are not shared between them. Furthermore, our framework can also be utilized for data preprocessing by imputing missing data, i.e., filling in the missing entries while combining different datasets. To illustrate the power of the proposed methods and their potential usages, we conduct experiments for various tasks: regression, classification, and for different data types: tabular data, time series data, when the datasets to be combined have missing data. We also investigate how the devised methods can be used with transfer learning to provide even further model training improvement. Our results indicate that the proposed methods are somewhat similar to transfer learning in that the merge can significantly improve the accuracy of a prediction model on smaller datasets. In addition, the methods can boost performance by a significant margin when combining small datasets together and can provide extra improvement when being used with transfer learning.

연구 동기 및 목표

• 비일치하는 열을 가진 데이터셋을 공통 변수가 겹치는 방식으로 결합하여 모델 성능을 향상시키는 도전 과제를 해결한다.
• 동일한 열 구조가 필요로 하는 전통적 데이터 융합 방법의 한계를 극복한다.
• 특히 의료 및 과학적 응용 분야에서 표본 수가 적은 상황에서의 모델 피팅을 향상시킨다.
• 데이터셋 결합 과정에서 보간을 통해 누락된 데이터를 처리하는 전처리 파이프라인을 개발한다.
• ComImp와 전이 학습 간의 상호보완적 효과를 탐색하여 분류 및 회귀 성능을 추가로 향상시킨다.

제안 방법

• 공통된 특징을 기반으로 ComImp는 데이터셋을 수직으로 스택하며, 겹치지 않는 특징은 빈 칼럼으로 자리 잡는다.
• 스택된 데이터셋에 대해 보간을 적용하여 선택된 보간 알고리즘을 사용해 누락된 값을 채운다.
• PCA-ComImp는 보간 이전에 주성분 분석(PCA)을 적용하여 차원을 축소함으로써 비겹치는 특징에서 유발되는 잡음을 최소화한다.
• 이 프레임워크는 표 형태 데이터와 시계열 데이터 모두를 지원하며, 다양한 기계학습 모델과 호환된다.
• 보간은 융합 외에도 비완전한 데이터셋에 대한 독립적인 전처리 기법으로 사용된다.
• 전이 학습과 통합되어 병합된 데이터로 훈련함으로써 일반화 능력과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표본 수가 적을 때 비일치하는 특징을 가진 데이터셋을 결합하면 모델 성능이 향상되는가?
• RQ2 보간 품질이 결합된 데이터셋으로 훈련된 모델의 성능에 어떤 영향을 미치는가?
• RQ3 PCA를 통한 차원 축소가 결합된 데이터셋 접근법의 강인성과 정확도를 향상시키는가?
• RQ4 제한된 데이터로 모델을 미세조정할 때 ComImp가 전이 학습 성능을 향상시키는가?
• RQ5 공통 특징이 비 overlapping 특징에 비해 너무 적을 경우 ComImp는 어떤 조건에서 실패하는가?

주요 결과

• ComImp는 소규모 데이터셋에서 모델 정확도를 크게 향상시키며, 유전자 데이터셋에서 로지스틱 회귀 모델의 테스트 정확도가 0.998에 도달한다.
• 전이 학습과 조합했을 때 ComImp는 테스트 정확도를 최대 0.022 향상시켰다 (예: EEG 데이터셋에서 SVM을 사용할 경우 0.839에서 0.849로).
• PCA-ComImp는 고차원 데이터에서 잡음을 줄여 표준 ComImp보다 모델의 안정성과 성능을 향상시킨다.
• 공통 특징이 매우 적은 경우 (예: 시드 데이터셋에서 오직 하나의 공통 특징이 있을 경우), 과도한 보간 편향으로 인해 ComImp의 성능이 떨어질 수 있다.
• 보간 방법의 선택이 모델 결과에 결정적인 영향을 미치며, 일부 방법은 다른 방법보다 더 높은 정확도를 낳는다.
• ComImp는 이질적인 소스에서부터 완전한 데이터셋을 구성할 수 있도록 해주는 효과적인 누락 데이터 전처리 도구로 기능한다.