[논문 리뷰] broom: An R Package for Converting Statistical Analysis Objects Into Tidy Data Frames

David Robinson|arXiv (Cornell University)|2014. 12. 11.

Data Analysis with R참고 문헌 11인용 수 55

한 줄 요약

broom 패키지는 R에서 다루기 어려운 통계 모델 출력물을 일관되고 체계적인 방식으로 정제된 데이터 프레임으로 변환하기 위한 표준화된 프레임워크를 제공한다. 이는 세 가지 핵심 일반 함수인 tidy(요소 수준의 추정치), augment(관측치 수준의 예측치), glance(모델 수준의 통계치)를 통해 이루어진다. 이를 통해 dplyr 및 ggplot2와 같은 tidyverse 도구와의 원활한 통합이 가능해져, 여러 모델이나 시뮬레이션 간의 모델 분석, 비교, 시각화 과정이 크게 간소화된다.

ABSTRACT

The concept of "tidy data" offers a powerful framework for structuring data to ease manipulation, modeling and visualization. However, most R functions, both those built-in and those found in third-party packages, produce output that is not tidy, and that is therefore difficult to reshape, recombine, and otherwise manipulate. Here I introduce the broom package, which turns the output of model objects into tidy data frames that are suited to further analysis, manipulation, and visualization with input-tidy tools. Broom defines the "tidy", "augment" and "glance" generics, which arrange a model into three levels of tidy output respectively: the component level, the observation level, and the model level. I provide examples to demonstrate how these generics work with tidy tools to allow analysis and modeling of data that is divided into subsets, to recombine results from bootstrap replicates, and to perform simulations that investigate the effect of varying input parameters.

연구 동기 및 목표

• R에서 흔히 발생하는 불규칙한 통계 모델 출력물 문제를 해결하여 효율적인 데이터 분석과 tidyverse 도구와의 통합을 방해하지 않도록 한다.
• 기본 R 및 제3자 패키지의 모델 객체를 일관되고 확장 가능한 인터페이스로 구조화된 정제된 데이터 프레임으로 변환할 수 있도록 표준화된 인터페이스를 제공한다.
• 출력 형식을 표준화함으로써 여러 모델, 부트스트랩 복제 또는 시뮬레이션 실행 간의 모델 결과 분석을 원활하게 할 수 있도록 한다.
• 복잡하고 비정규화된 모델 출력물과 현대 데이터 분석 워크플로우에 필수적인 정제된 데이터 프레임 간의 격차를 메운다.
• 패키지 개발자들이 자체 모델 객체에 대해 일관된 tidy, augment, glance 메서드를 구현하도록 유도함으로써 상호 운용성을 향상시킨다.

제안 방법

• 통계 모델 출력물을 정제된 데이터 프레임으로 변환하기 위한 세 가지 S3 일반 함수인 tidy, augment, glance를 도입한다.
• 모델 구성요소, 관측치, 모델 요약 정보에 대해 정제된 데이터 원칙(각 열이 하나의 변수, 각 행이 하나의 관측치, 각 테이블이 하나의 관측 단위)을 적용한다.
• 선형 모델(lm), 일반화선형모델(glm), 혼합효과모델(lmer), 생존모델(coxph), 정규화모델(glmnet) 등의 일반적인 모델 유형에 대한 메서드를 구현한다.
• dplyr 및 ggplot2 파ipeline를 사용하여 정제된 출력물의 종합적 분석 예시를 제시하며, 모델 비교, 시뮬레이션, 시각화를 포함한다.
• 부트스트랩 재표본 추출 및 시뮬레이션 연구와 같은 복잡한 워크플로우를 지원하기 위해 다수의 모델에서 유도된 결과를 하나의 정제된 데이터 프레임으로 재결합할 수 있도록 한다.
• 확장 가능한 아키텍처를 설계하여 제3자 패키지가 자체 tidy, augment, glance 메서드를 구현하여 tidyverse 생태계와 완전히 호환되도록 한다.

실험 결과

연구 질문

• RQ1 다양한 R 패키지에서 유도된 통계 모델 출력물을 일관되고 정제된 데이터 형식으로 표준화할 수 있는 방법은 무엇인가?
• RQ2 모델 출력물을 정제된 데이터로 변환하는 것이 데이터 분석 워크플로우의 효율성과 재현 가능성에 어느 정도 기여하는가?
• RQ3 정제된 모델 출력물을 활용하면 부트스트랩 재표본 추출이나 시뮬레이션 연구와 같이 여러 모델 간의 확장 가능한 분석이 가능한가?
• RQ4 broom 프레임워크는 ggplot2 및 dplyr와 같은 시각화 및 변환 도구와 모델 결과를 어떻게 원활하게 통합하는가?
• RQ5 탐색적 데이터 분석 및 모델 진단에서 표준화된 모델 정제를 사용하는 데 실질적인 이점은 무엇인가?

주요 결과

• broom 패키지는 계수 추정치, 잔차, 모델 적합도 통계치 등 복잡하고 불규칙한 모델 출력물을 일관되고 재사용 가능한 정제된 데이터 프레임으로 성공적으로 변환한다.
• 정제된 모델 출력물을 통해 dplyr 및 ggplot2와의 원활한 통합이 가능해져, 분석자가 단일 파ipeline 내에서 그룹별 연산, 필터링, 시각화를 여러 모델에 걸쳐 수행할 수 있다.
• broom을 활용한 시뮬레이션 연구 결과, 잔차 표준편차(σ)가 증가할수록 군집 중심 추정의 정확도가 감소하며, σ = 4일 때 체계적인 편향이 관찰되었다.
• 고려된 σ 값이 클수록 군집 내 제곱합의 프로파일이 덜 뚜렷해져 최적의 k 선택이 더 어려워지며, 이는 faceted ggplot2 시각화를 통해 확인되었다.
• 분류 순도(정확히 할당된 점의 비율로 측정)는 평균적으로 σ 증가에 따라 감소했으며, 반복 실험에 대한 정확도 상자도화를 통해 확인되었다.
• 이 패키지는 시뮬레이션 및 하위군 간의 모델 출력물 분석을 확장 가능하고 재현 가능한 방식으로 가능하게 하여, 행 이름을 유지하거나 결과를 수작업으로 결합해야 하는 수작업과 데이터 정제의 필요성을 크게 줄였다.