[논문 리뷰] Quality control, data cleaning, imputation

Dawei Liu, Hanne Oberman외 3명|arXiv (Cornell University)|2021. 10. 29.

Statistical Methods and Inference참고 문헌 101인용 수 4

한 줄 요약

이 논문은 실생활 데이터(RWD)에서 품질 보증, 데이터 정제, 보정에 대한 종합적인 가이드를 제공하며, 편향을 최소화하면서도 누락 데이터를 처리하는 데 중점을 둡니다. 통계적 및 기계학습 기반 보정 기법을 평가하고, 정보가 있는 누락성과 반복 관측과 같은 과제를 강조하며, 보정의 대안을 제시하여 RWD 연구에서 강력한 데이터 분석을 위한 실용적이고 근거 기반 전략을 제공합니다.

ABSTRACT

This chapter addresses important steps during the quality assurance and control of RWD, with particular emphasis on the identification and handling of missing values. A gentle introduction is provided on common statistical and machine learning methods for imputation. We discuss the main strengths and weaknesses of each method, and compare their performance in a literature review. We motivate why the imputation of RWD may require additional efforts to avoid bias, and highlight recent advances that account for informative missingness and repeated observations. Finally, we introduce alternative methods to address incomplete data without the need for imputation.

연구 동기 및 목표

• 실생활 데이터(RWD)의 품질 보증 및 보수에 있어 핵심 과제, 특히 누락 데이터 문제를 해결하기 위해.
• RWD에서 누락된 값을 보정하기 위한 통계적 및 기계학습 기법을 평가하고 비교하기 위해.
• 정보가 있는 누락성과 반복 관측으로 인한 RWD 보정에서의 편향 위험을 부각하기 위해.
• 누락 데이터 메커니즘에 대한 가정을 피하는 보정의 대안적 접근법을 제시하기 위해.
• RWD 연구에서 데이터 전처리에 적합하고 강력한 방법을 선택하는 데 연구자들을 지원하기 위해.

제안 방법

• 논문은 RWD에서의 품질 보증 및 데이터 정제를 위한 체계적인 프레임워크를 도입하며, 데이터 품질 문제를 식별하고 해결하는 데 중점을 둡니다.
• 다중 보정(Chained Equations, MICE), 회귀 보정, 랜덤 포레스트 및 k-최근접 이웃과 같은 기계학습 기반 방법을 포함한 일반적인 보정 기법을 검토합니다.
• 각 방법의 장단점을 평가하며, 특히 가정, 확장성, 다양한 누락 데이터 메커니즘 하에서의 성능에 초점을 맞춥니다.
• 논문은 정보가 있는 누락성(누락이 관측되지 않은 값과 관련됨)을 모델링하는 것이 중요하다고 강조하며, 패턴-혼합 모델 및 선택 모델과 같은 고급 기법을 사용합니다.
• 반복되거나 군집화된 관측치를 처리하기 위한 방법으로 혼합 효과 모델 및 마진 모델을 논의하여 보정 과정에서 데이터 구조를 유지합니다.
• 논문은 보정의 대안으로 완전 케이스 분석과 민감도 분석, 역확률 가중치를 제시하여 보정에서 발생할 수 있는 잠재적 편향을 피합니다.

실험 결과

연구 질문

• RQ1 복잡한 누락 데이터 메커니즘을 가진 실생활 데이터에서 가장 효과적인 보정 기법은 무엇인가요?
• RQ2 정보가 있는 누락성이 RWD에서 보정 결과의 타당성에 어떻게 영향을 미치며, 이를 어떻게 적절히 모델링할 수 있나요?
• RQ3 전통적인 통계적 보정과 현대 기계학습 기반 보정 간의 성능 상충 관계는 무엇인가요?
• RQ4 RWD에서 반복되거나 군집화된 관측치는 데이터 정제 및 보정 과정에서 어떻게 적절히 다뤄질 수 있나요?
• RQ5 누락된 RWD에 대해 보정이 아닌 접근 방식이 더 바람직한 상황은 어떤 경우인가요?

주요 결과

• 다중 보정(Chained Equations, MICE)과 기계학습 기반 보정(예: 랜덤 포레스트)은 무시 가능한 누락성 하에서는 잘 작동하지만, 정보가 있는 누락성이 존재할 경우 적절히 모델링되지 않으면 편향을 유발할 수 있습니다.
• 누락 데이터 메커니즘을 명시적으로 모델링하는 방법(예: 패턴-혼합 모델)은 정보가 있는 누락성이 존재할 경우 더 높은 강건성을 보입니다.
• RWD에서의 보정은 반복 측정 및 군집화와 같은 데이터 구조를 신중히 고려해야 하며, 독립성의 가정을 위반하지 않도록 해야 합니다.
• 보정의 가정이 의심스러울 경우, 역확률 가중치와 완전 케이스 분석에 민감도 분석을 결합한 방법이 보정의 대안으로 유의미할 수 있습니다.
• 기계학습 기반 보정 방법은 유연성은 있지만, 철저한 검증이 필요하며 하이퍼파rameter 조정과 데이터 희소성에 민감합니다.
• 논문은 어떤 보정 방법도 항상 다른 방법보다 뛰어나지 않으며, 방법 선택은 데이터 구조, 누락 데이터 메커니즘, 연구 목표에 따라 이끌려야 한다고 결론을 내립니다.