[논문 리뷰] ReMasker: Imputing Tabular Data with Masked Autoencoding

Tianyu Du, Luca Melis외 1명|arXiv (Cornell University)|2023. 09. 25.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

ReMasker는 표현 학습을 향상시키기 위해 훈련 중에 무작위로 다시 마스킹하는 방식으로 보다 새로운 마스킹된 자동에코드 기반 접근법을 제안한다. 이는 테이블 형 데이터의 보정에 있어 최신 기술들을 능가하며, 특히 높은 결측 비율에서 보정 정밀도와 유틸리티 측면에서 뛰어난 성능을 보이며, 결측에 강인한 표현을 학습한다. 이는 테이블 형 데이터에 대해 마스킹 모델링 기반 접근법의 잠재력을 입증한다.

ABSTRACT

We present ReMasker, a new method of imputing missing values in tabular data by extending the masked autoencoding framework. Compared with prior work, ReMasker is both simple -- besides the missing values (i.e., naturally masked), we randomly ``re-mask'' another set of values, optimize the autoencoder by reconstructing this re-masked set, and apply the trained model to predict the missing values; and effective -- with extensive evaluation on benchmark datasets, we show that ReMasker performs on par with or outperforms state-of-the-art methods in terms of both imputation fidelity and utility under various missingness settings, while its performance advantage often increases with the ratio of missing data. We further explore theoretical justification for its effectiveness, showing that ReMasker tends to learn missingness-invariant representations of tabular data. Our findings indicate that masked modeling represents a promising direction for further research on tabular data imputation. The code is publicly available.

연구 동기 및 목표

• 복잡한 결측 패턴을 가진 테이블 형 데이터에서 고정밀도 보정 문제를 해결하기 위해.
• 완전한 훈련 데이터가 없더라도 다양한 결측 메커니즘에 일반화할 수 있는 방법을 개발하기 위해.
• 성공적으로 비전 및 NLP 분야에서 활용된 마스킹된 자동에코드가 테이블 형 데이터 보정에 효과적으로 적용될 수 있는지 탐색하기 위해.
• 학습된 특징의 표현 불변성(결측 패턴에 대해 불변인가)을 조사하기 위해.
• 기존의 판별적 및 생성적 보정 방법보다 뛰어난 성능을 보이는 간단하면서도 효과적인 프레임워크를 제공하기 위해.

제안 방법

• ReMasker는 자연스럽게 결측된 값 외에도 무작위로 다시 마스킹하는 두 번째 단계를 도입함으로써 마스킹된 자동에코드 프레임워크를 확장한다.
• 자기 주의 메커니즘을 통해 상호 특징 간 의존성을 모델링하기 위해 트랜스포머 기반 아키텍처를 사용한다.
• 훈련 중에 재마스킹된 값을 재구성함으로써 강력하고 고차원적인 표현을 학습하도록 유도한다.
• 유사한 목표를 사용하여 학습된 표현을 활용해 원래의 결측값을 예측하도록 모델을 피지컬 튜닝한다.
• 특정 결측 메커니즘을 가정하지 않으며, 완전한 데이터가 가용하지 않은 경우에도 적용 가능하다.
• 훈련 목표는 재마스킹된 데이터셋에 대한 재구성 손실을 최적화하여, 미관측된 결측 패턴으로의 일반화를 촉진한다.

실험 결과

연구 질문

• RQ1 기존 최신 기술 대비 재마스킹 기반 마스킹된 자동에코드가 테이블 형 데이터 보정 성능을 향상시킬 수 있는가?
• RQ2 완전한 데이터가 없을 경우에도 ReMasker는 높은 결측 비율에서 효과적으로 일반화되는가?
• RQ3 ReMasker는 어떤 종류의 표현을 학습하며, 이 표현은 결측 패턴에 대해 불변적인가?
• RQ4 다양한 벤치마크 데이터셋에서 ReMasker는 판별적 및 생성적 보정 기반 방법과 비교해 성능가능성이 어떻게 되는가?
• RQ5 재마스킹 전략은 테이블 형 데이터 내 복잡한 상호 특징 상관관계를 포착하는 데 모델의 능력을 향상시킬 수 있는가?

주요 결과

• ReMasker는 다양한 결측 설정에서 12개의 벤치마크 데이터셋에 대해 13개의 최신 기술 보정 방법과 비교해 성능이 동등하거나 뛰어나다.
• 결측 비율이 높을수록 성능 우위가 더욱 두드러지며, 특히 70%의 결측 비율에서 뛰어난 성능을 보인다.
• 이론적 및 실증적 분석을 통해 결측에 강인한 표현을 학습함을 입증하며, 다양한 결측 메커니즘에 대해 강인함을 보였다.
• 특히 저자료 환경에서 GAN 기반 및 VAE 기반 방법보다 보정 정밀도와 후속 작업 유틸리티 측면에서 모두 뛰어난 성능을 보였다.
• 재마스킹 전략은 모델이 저차원 통계를 넘어서 고차원 패턴으로 일반화하도록 유도함으로써 표현 학습을 향상시킨다.
• 완전한 데이터 없이도 효과적으로 작동하므로, 제한되거나 완전하지 않은 데이터가 많은 실세계 환경에 적합하다.