[论文解读] Expanding tidy data principles to facilitate missing data exploration, visualization and assessment of imputations

Nicholas Tierney, Dianne H Cook|arXiv (Cornell University)|Sep 6, 2018

Statistical Methods and Bayesian InferenceMathematics被引用 22

一句话总结

本文介紹了 naniar R 套件，將整理資料原則延伸至缺失資料的探索、可視化與插補，透過定義新的「nabular」資料結構並整合至 tidyverse 工具，利用專用函數進行可視化（例如 geom_miss_point）、數值摘要與插補，實現一致且工作流程友善的缺失值處理，提升資料分析流程的透明度與可重現性。

ABSTRACT

Despite the large body of research on missing value distributions and imputation, there is comparatively little literature with a focus on how to make it easy to handle, explore, and impute missing values in data. This paper addresses this gap. The new methodology builds upon tidy data principles, with the goal of integrating missing value handling as a key part of data analysis workflows. We define a new data structure, and a suite of new operations. Together, these provide a connected framework for handling, exploring, and imputing missing values. These methods are available in the R package `naniar`.

研究动机与目标

• 解決在整理資料框架內缺乏整合性、有原則的缺失資料處理工具之問題。
• 彌補 R 中缺失資料探索與標準資料分析工作流程之間的差距。
• 建立一個整合性高、可重複使用的框架，利用整理工具支援缺失值的可視化、摘要與插補。
• 讓分析人員能流暢地探索缺失模式，並在單一一致的工作流程中評估插補品質。

提出的方法

• 提出一種新的「nabular」資料結構，將整理資料原則延伸至明確將缺失值視為一等實體。
• 在 naniar R 套件中實作一整套函數，與 dplyr、tidyr 和 ggplot2 整合，以實現一致的資料操作與可視化。
• 開發專用的可視化工具，例如 geom_miss_point，將缺失值直接顯示於圖表中，同時保留所有觀測值。
• 提供數值摘要函數（例如缺失模式、頻率、分配）以評估缺失資料結構。
• 支援多種插補方法（例如 KNN、線性模型），並提供與下游建模相容的一致輸出格式。
• 透過係數比較與殘差分析，評估多組插補版本之間的係數一致性與可靠性。

实验结果

研究问题

• RQ1 如何以保留所有觀測值的方式可視化缺失資料，並揭示缺失模式，而不需捨棄資料？
• RQ2 能否將缺失資料處理整合至整理資料工作流程中，以提升可重現性並減少資料分析錯誤？
• RQ3 如何利用可視化與數值摘要比較與評估插補資料集的一致性與可靠性？
• RQ4 專用資料結構在實現一致、模組化且可組合的缺失資料操作中扮演何種角色？

主要发现

• naniar 套件成功將整理資料原則延伸至缺失資料，使缺失值探索能無縫整合至資料分析工作流程中。
• 如 geom_miss_point 之類的可視化工具可讓缺失值在圖表中明確顯示，避免標準繪圖工具常見的資訊遺失。
• 使用 KNN 或線性模型進行插補所產生的資料集在分配特徵上表現出明顯差異——例如，線性模型插補降低了「房間數」與「汽車數」變數的極端值。
• 在對數價格模型中，「房間數」的係數估計值在完整案例分析中系統性低於插補資料集，顯示案例刪除方法可能產生偏誤。
• 部分殘差圖顯示，插補資料集的預測值更集中於零附近，而完整案例則較分散，顯示插補後模型行為更具穩定性。
• 該框架支援互動式與動畫探索（例如透過 plotly 和 gganimate），可動態評估缺失模式與插補效果。