[논문 리뷰] Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback

Haw-minn Lu, Giancarlo Perrone외 1명|arXiv (Cornell University)|2020. 02. 19.

Face and Expression Recognition참고 문헌 11인용 수 9

한 줄 요약

이 논문은 메타모르픽 트루스와 임퓨테이션 피드백을 통해 노이즈 제거 오토인코더를 개선하여 결측 데이터에서 편향을 줄이고 통계적 관계를 유지하는 다중 보정 방법을 제안한다. 다양한 결측 메커니즘에서 표준 DAE, MICE, 평균 보정보다 루트 평균 제곱 오차와 공분산 이탈을 최소화하는 데 뛰어난 성능을 보였다.

ABSTRACT

Although data may be abundant, complete data is less so, due to missing columns or rows. This missingness undermines the performance of downstream data products that either omit incomplete cases or create derived completed data for subsequent processing. Appropriately managing missing data is required in order to fully exploit and correctly use data. We propose a Multiple Imputation model using Denoising Autoencoders to learn the internal representation of data. Furthermore, we use the novel mechanisms of Metamorphic Truth and Imputation Feedback to maintain statistical integrity of attributes and eliminate bias in the learning process. Our approach explores the effects of imputation on various missingness mechanisms and patterns of missing data, outperforming other methods in many standard test cases.

연구 동기 및 목표

• 초기 보정으로 인해 통계적 관계가 왜곡되는 딥러닝 기반 보정 방법의 편향 문제를 해결하기 위해.
• 이전 보정에서 유도된 피드백을 통합하고 동적 진실 신호를 활용하여 학습을 이끌어 다중 보정의 성능을 향상시키기 위해.
• MCAR, MAR, MNAR 결측 조건 하에서 데이터 속성의 통계적 정합성, 특히 공분산 구조를 유지하기 위해.
• 표준화된 지표를 사용하여 다양한 결측 패턴(랜덤, 균일)과 메커니즘에서 성능을 평가하기 위해.
• 신경망 기반 보정이 MICE와 같은 전통적 방법보다 데이터 관계를 더 잘 유지할 수 있음을 입증하기 위해.

제안 방법

• 50% 입력 드롭아웃과 7층 아키텍처(Θ=7로 너비가 증가하다가 감소하는 방식)를 가진 노이즈 제거 오토인코더(DAE)를 사용하여 데이터 표현을 학습한다.
• 메타모르픽 트루스는 이전 보정의 가중 평균을 사용하여 재구성 목표를 동적으로 조정함으로써 초기 학습 시 편향을 감소시킨다.
• 임퓨테이션 피드백은 점차 향상된 보정 데이터로 재학습함으로써 오토인코더를 반복적으로 개선하여 일반화 능력을 향상시킨다.
• 학습은 500 에포크 동안 수행되며, 10 에포크의 프라밍과 245단계의 2 에포크 피니어 튜닝을 통해 학습 안정성을 확보한다.
• 모든 데이터셋에 대해 보정 이전에 정규화를 적용하며, 공정한 비교를 위해 MICE 결과 역시 동일한 스케일링을 사용하여 정규화한다.
• 각 방법당 5개의 다중 보정을 생성하고, RMS 오차 및 공분산 이탈 지표를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 메타모르픽 트루스와 임퓨테이션 피드백를 갖춘 노이즈 제거 오토인코더는 표준 DAE 및 MICE보다 다중 보정에서 편향을 줄일 수 있는가?
• RQ2 제안된 방법은 MCAR, MAR, MNAR 등 다양한 결측 메커니즘과 랜덤, 균일 등 다양한 결측 패턴에서 어떻게 성능을 발휘하는가?
• RQ3 보정 후 변수 간 공분산 구조를 어느 정도 유지하는가?
• RQ4 이전 보정에서 유도된 피드백의 통합이 후속 재구성 품질을 향상시키는가?
• RQ5 신경망 기반 보정은 MICE의 통계적 정밀도를 따라하거나 뛰어넘을 수 있는가?

주요 결과

• 메타모르픽 트루스와 임퓨테이션 피드백를 통합한 DAE(DAE MT)는 모든 데이터셋과 결측 조건에서 가장 낮은 RMS 오차를 기록하며, 표준 DAE, MICE, 평균 보정을 모두 능가했다.
• MNAR 조건에서 DAE MT는 평균 공분산 이탈을 0.4–0.6 (×10)로 줄였고, 표준 DAE(1.1–2.6 ×10)보다 뚜렷이 뛰어나며 MICE 성능에 가까워졌다.
• BH 데이터셋의 MNAR 조건에서 DAE MT는 공분산 이탈 0.6 (0.6) ×10을 기록했고, 표준 DAE는 1.1 (1.2) ×10, MICE는 0.4 (0.5) ×10이었다.
• SN 데이터셋에서 랜덤 결측 조건 하에서 DAE MT는 공분산 이탈 0.5 (0.5) ×10을 기록했고, 표준 DAE는 0.7 (0.7) ×10, MICE는 0.6 (0.7) ×10이었다.
• 모든 결측 패턴과 메커니즘에서 뛰어난 성능을 유지하였으며, RMS 오차와 공분산 유지 측면에서 일관된 향상이 있었다.
• 메타모르픽 트루스의 사용은 초기 보정으로 인한 편향을 크게 완화시켰으며, 특히 표준 DAE가 관계를 유지하지 못하는 MNAR 시나리오에서 두드러진 효과를 보였다.