[논문 리뷰] Expanding tidy data principles to facilitate missing data exploration, visualization and assessment of imputations

Nicholas Tierney, Dianne H Cook|arXiv (Cornell University)|2018. 09. 06.

Statistical Methods and Bayesian InferenceMathematics인용 수 22

한 줄 요약

이 논문은 naniar R 패키지를 소개하며, 티디 데이터 원칙을 확장하여 결측 데이터 탐색, 시각화 및 보정을 간소화합니다. 새로운 'nabular' 데이터 구조를 정의하고 tidyverse 도구와 통합함으로써, 시각화(예: geom_miss_point), 수치 요약, 보정을 위한 전용 함수를 통해 일관되고 워크플로우 친화적인 결측값 처리를 가능하게 합니다. 이는 데이터 분석 워크플로우의 투명성과 재현 가능성을 향상시킵니다.

ABSTRACT

Despite the large body of research on missing value distributions and imputation, there is comparatively little literature with a focus on how to make it easy to handle, explore, and impute missing values in data. This paper addresses this gap. The new methodology builds upon tidy data principles, with the goal of integrating missing value handling as a key part of data analysis workflows. We define a new data structure, and a suite of new operations. Together, these provide a connected framework for handling, exploring, and imputing missing values. These methods are available in the R package `naniar`.

연구 동기 및 목표

• 티디 데이터 프레임워크 내에서 결측 데이터를 다루는 통합적이고 원칙적인 도구의 부족을 보완하기 위해.
• R에서 결측 데이터 탐색과 표준 데이터 분석 워크플로우 사이의 격차를 메우기 위해.
• 티디 도구를 사용하여 시각화, 요약, 보정을 지원하는 통합적이고 재사용 가능한 프레임워크를 개발하기 위해.
• 분석가가 하나의 일관된 파ip라인 내에서 결측 패턴을 유창하게 탐색하고 보정 품질을 평가할 수 있도록 하기 위해.

제안 방법

• 결측값을 명시적으로 첫 번째 등급의 실체로 표현할 수 있도록 티디 데이터 원칙을 확장한 새로운 'nabular' 데이터 구조를 도입하기 위해.
• dplyr, tidyr, ggplot2와 통합되어 일관된 데이터 조작 및 시각화를 가능하게 하는 naniar R 패키지의 기능 세트를 구현하기 위해.
• 모든 관측치를 유지하면서 결측값을 직접 플롯에 표시할 수 있는 전용 시각화 도구(예: geom_miss_point)를 개발하기 위해.
• 결측 데이터의 구조를 평가하기 위한 수치 요약 기능(예: 결측 패턴, 빈도, 분포)을 제공하기 위해.
• KNN, 선형 모델 등 여러 보정 방법을 지원하며, 후속 모델링과 호환되는 일관된 출력 형식을 제공하기 위해.
• 계수 비교 및 보정된 버전 간 잔차 분석을 통해 보정된 데이터셋의 평가를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 모든 관측치를 유지하면서 결측 패턴을 드러내는 방식으로 결측 데이터를 어떻게 시각화할 수 있는가? (값을 제거하지 않고).
• RQ2 결측 데이터 처리를 티디 데이터 워크플로우에 통합하여 재현 가능성 향상과 분석 오류 감소를 이룰 수 있는가?
• RQ3 시각화와 수치 요약을 통해 보정된 데이터셋을 비교하고 일관성 및 신뢰성 여부를 평가할 수 있는가?
• RQ4 특수한 데이터 구조는 일관성 있고 모듈화되며 조합 가능한 결측 데이터 처리 작업을 어떻게 가능하게 하는가?

주요 결과

• naniar 패키지는 티디 데이터 원칙을 결측 데이터에 성공적으로 확장하여 결측 탐색을 데이터 분석 워크플로우에 원활하게 통합할 수 있도록 했습니다.
• geom_miss_point와 같은 시각화 도구를 통해 결측값이 플롯에 명시적으로 표시되어, 기존 플로팅 도구에서 흔히 발생하는 정보 손실을 방지할 수 있었습니다.
• KNN 또는 선형 모델을 사용한 보정을 통해 생성된 데이터셋은 분포 특성에서 뚜렷한 차이를 보였습니다. 예를 들어, 선형 모델 보정은 'bedrooms'와 'cars' 변수의 극단적 값을 감소시켰습니다.
• 로그 가격 모델에서 '방의 수'에 대한 계수 추정치는 완전 케이스 분석에서 보정된 데이터셋보다 체계적으로 낮게 나타났으며, 이는 케이스 삭제 접근법에서 잠재적인 편향이 있음을 시사합니다.
• 부분 잔차 플롯은 보정된 데이터셋이 완전 케이스에 비해 영점 주변으로 더 뭉쳐진 예측을 생성했음을 보여주었으며, 이는 더 안정적인 모델 행동을 의미합니다.
• 플롯리와 gganimate를 통해 상호작용적이고 애니메이션 기반 탐색이 가능하여, 결측 및 보정 효과의 동적 평가가 가능해졌습니다.