[논문 리뷰] Transformed Distribution Matching for Missing Value Imputation

He Zhao, Ke Sun외 2명|arXiv (Cornell University)|2023. 02. 20.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 변환된 분포 매칭(TDM)을 제안하며, 데이터를 분포 매칭이 가능한 잠재 공간으로 매핑하기 위해 가역 변환을 학습하는 새로운 비지도 누락값 보정 방법이다. 워샤르 거리 최소화를 통한 변환과 누락값 보정을 동시에 학습함으로써, 최소한의 하이퍼파rameter 튜닝으로 다양한 데이터셋과 누락 메커니즘에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We study the problem of imputing missing values in a dataset, which has important applications in many domains. The key to missing value imputation is to capture the data distribution with incomplete samples and impute the missing values accordingly. In this paper, by leveraging the fact that any two batches of data with missing values come from the same data distribution, we propose to impute the missing values of two batches of samples by transforming them into a latent space through deep invertible functions and matching them distributionally. To learn the transformations and impute the missing values simultaneously, a simple and well-motivated algorithm is proposed. Our algorithm has fewer hyperparameters to fine-tune and generates high-quality imputations regardless of how missing values are generated. Extensive experiments over a large number of datasets and competing benchmark algorithms show that our method achieves state-of-the-art performance.

연구 동기 및 목표

• 복잡한 고차원 데이터 분포를 가진 데이터셋에서 누락값을 보정하는 과제를 해결하기 위해.
• 전체 데이터 분포의 명시적 모델링이나 진짜 누락값에 대한 지식이 필요로 하지 않는 방법을 개발하기 위해.
• 학습된 가역 변환을 활용하여 데이터 기하학을 더 잘 포착함으로써 기존의 분포 매칭 접근법을 향상시키기 위해.
• 단일 손실 함수 학습 목표를 도입하여 하이퍼파rameter 튜닝의 의존도를 줄이기 위해.
• 특수 작업에 맞춰 조정이 필요 없이 MCAR, MAR, MNAR 등 다양한 누락 메커니즘에서 견고한 성능을 달성하기 위해.

제안 방법

• 방법은 깊이 있는 가역 신경망(INNs)을 사용하여 관측된 및 완전하지 않은 데이터 샘플을 공통의 잠재 공간으로 변환한다.
• 잠재 공간에서 두 배치의 변환된 샘플 간의 워샤르-2 거리를 최소화하여 분포 일치를 강제한다.
• 관측된 값에 대한 재구성 손실과 변환된 배치 간의 최적 운반 거리가 결합된 학습 목표로, 변환과 보정을 동시에 학습할 수 있다.
• 네트워크의 가역성은 모델 붕괴를 방지하고 누락값의 충실한 재구성을 보장한다.
• 단일 손실 함수를 사용하여 엔드 투 엔드로 학습함으로써 복잡성과 하이퍼파rameter 민감도를 감소시킨다.
• 이 방법은 누락 메커니즘에 대해 불변이며, MCAR, MAR, MNAR 설정 모두에서 견고하다.

실험 결과

연구 질문

• RQ1 데이터 공간에서 직접 매칭하는 것과 비교해, 데이터를 잠재 공간으로 변환하는 것이 누락값 보정을 위한 분포 매칭을 향상시키는가?
• RQ2 데이터 기하학을 유지하는 학습된 가역 변환은 표준 분포 매칭 방법보다 더 나은 보정 품질을 제공하는가?
• RQ3 단일 통합 손실 함수가 최소한의 하이퍼파rameter 튜닝으로 변환과 보정을 효과적으로 동시에 학습시킬 수 있는가?
• RQ4 제안된 방법은 다양한 데이터셋과 누락 메커니즘(MCAR, MAR, MNAR)에서 어떻게 성능을 발휘하는가?
• RQ5 잠재 공간에서 향상된 분포 매칭이 분류와 같은 후속 작업 성능 향상으로 이어지는가?

주요 결과

• TDM는 다양한 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, MAE, RMSE, W22 지표에서 OTImputer, SoftImpute, MIRACLE와 같은 기존 방법들을 모두 능가한다.
• 다양한 데이터셋과 누락 메커니즘에서 평균적으로 TDM은 다음 최고의 베이스라인 대비 MAE를 최대 15%까지 감소시킨다.
• TDM는 학습 중에 뛰어난 안정성을 보이며, glass 및 blood_transfusion와 같은 작은 데이터셋에서 OTImputer에서 관찰된 과적합 문제를 피한다.
• 이mputed된 데이터를 사용할 때 일관되게 후속 분류 정확도를 향상시키며, 진짜 완전한 데이터로 훈련된 모델의 성능에 가까워진다.
• TDM는 OTImputer보다 반복당 약 2~3배 느리지만, 계산 비용에 비해 성능 향상이 뚜렷하여 이를 상쇄한다.
• TDM는 데이터 공간에서 워샤르 거리를 직접 최소화하지 않음에도 불구하고 OTImputer를 크게 능가한다. 이는 잠재 공간에서의 매칭이 데이터 기하학을 더 효과적으로 포착하기 때문임을 시사한다.