[論文レビュー] broom: An R Package for Converting Statistical Analysis Objects Into Tidy Data Frames

David Robinson|arXiv (Cornell University)|Dec 11, 2014

Data Analysis with R参考文献 11被引用数 55

ひとこと要約

broomパッケージは、Rにおける不恰好な統計的モデル出力を、tidy（成分レベルの推定値）、augment（観測単位の予測値）、glance（モデルレベルの統計量）の3つのコアジェネリックを用いて、一貫したフレームワークできれいなデータフレームに変換する。これにより、dplyr や ggplot2 などの tidyverse ツールとのシームレスな統合が可能となり、複数のモデルやシミュレーションにおけるモデル分析、比較、可視化が著しく簡素化される。

ABSTRACT

The concept of "tidy data" offers a powerful framework for structuring data to ease manipulation, modeling and visualization. However, most R functions, both those built-in and those found in third-party packages, produce output that is not tidy, and that is therefore difficult to reshape, recombine, and otherwise manipulate. Here I introduce the broom package, which turns the output of model objects into tidy data frames that are suited to further analysis, manipulation, and visualization with input-tidy tools. Broom defines the "tidy", "augment" and "glance" generics, which arrange a model into three levels of tidy output respectively: the component level, the observation level, and the model level. I provide examples to demonstrate how these generics work with tidy tools to allow analysis and modeling of data that is divided into subsets, to recombine results from bootstrap replicates, and to perform simulations that investigate the effect of varying input parameters.

研究の動機と目的

• Rにおける不恰好な統計的モデル出力の広範な問題に対処し、効率的なデータ分析や tidyverse ツールとの統合を妨げる要因を解消する。
• ベースRやサードパーティパッケージのモデルオブジェクトを、構造的で一貫したきれいなデータフレームに変換するための標準的かつ拡張可能なインターフェースを提供する。
• 出力形式を標準化することで、複数のモデル、ブートストラップ再サンプリング、またはシミュレーション実行におけるモデル結果の分析をシームレスに可能にする。
• 複雑できれいではないモデル出力と、現代のデータ分析ワークフローに不可欠なきれいなデータフレームの枠組みとのギャップを埋める。
• パッケージ開発者が自らのモデルオブジェクト用に、tidy、augment、glance メソッドを一貫して実装することを促進し、相互運用性を高める。

提案手法

• 統計的モデル出力をきれいなデータフレームに変換するための3つのS3ジェネリック（tidy、augment、glance）を導入する。
• モデルの成分、観測、モデル要約の各レベルに、1つの変数が1つの列、1つの観測が1つの行、1つの観測単位が1つのテーブルというきれいなデータの原則を適用する。
• 線形モデル（lm）、一般化線形モデル（glm）、混合効果モデル（lmer）、生存時間モデル（coxph）、正則化モデル（glmnet）などの一般的なモデルタイプに対応するメソッドを実装する。
• dplyr や ggplot2 のパイプラインを用いて、きれいな出力のエンドツーエンド分析を示し、モデル比較、シミュレーション、可視化を含む。
• ブートストラップ再サンプリングやシミュレーションスタディなどの複雑なワークフローをサポートし、複数のモデルからの結果を1つのきれいなデータフレームに再結合可能にする。
• 拡張性を設計し、サードパーティパッケージが自らのモデルオブジェクト用に tidy、augment、glance メソッドを実装できるようにし、tidyverseエコシステムとの完全な互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 多様なRパッケージからの統計的モデル出力を、一貫性がありきれいなデータ形式に標準化する方法は何か？
• RQ2 モデル出力をきれいなデータに変換することで、データ分析ワークフローの効率性と再現性がどの程度向上するか？
• RQ3 きれいなデータに変換されたモデル出力は、ブートストラップ再サンプリングやシミュレーションスタディのような複数のモデルにおけるスケーラブルな分析を可能にするか？
• RQ4 broomフレームワークは、ggplot2 や dplyr などの可視化・変換ツールとのモデル結果統合をどのように促進するか？
• RQ5 探索的データ分析やモデル診断において、標準化されたモデルのきれい化処理が実際どのような利点をもたらすか？

主な発見

• broomパッケージは、回帰係数推定値、残差、モデル適合統計量といった複雑で不恰好なモデル出力を、構造的で再利用可能なきれいなデータフレームに成功して変換する。
• モデル出力をきれいにすることで、dplyr や ggplot2 とのシームレスな統合が可能となり、分析者が1つのパイプライン内で複数のモデルに対してグループごとの操作、フィルタリング、可視化を実行できる。
• broomを用いたシミュレーションスタディでは、残差標準偏差（σ）が増加するにつれてクラスタ中心の推定精度が低下することが示され、σ = 4では系統的なバイアスが観察された。
• σ値が高いと、クラスタ内平方和のプロファイルが曇り、最適なk値の選定が難しくなることが、ファセット化された ggplot2 可視化で示された。
• 分類純度（正しく割り当てられた点の割合）は、σが増加するにつれて平均的に低下し、再複製における精度のボックスプロット可視化で確認された。
• このパッケージにより、シミュレーションやサブグループ全体におけるモデル出力のスケーラブルで再現可能な分析が可能となり、行名の保持や結果の結合に向けた手作業のデータクリーニングや回避策の必要性が著しく減少した。