[논문 리뷰] Some discussions on the Read Paper "Beyond subjective and objective in statistics" by A. Gelman and C. Hennig

Gilles Celeux, Jack Jewson외 3명|arXiv (Cornell University)|2017. 05. 10.

Advanced Statistical Methods and Models참고 문헌 4인용 수 3

한 줄 요약

이 논문은 통계적 실천에서 주관성 대 객관성에 대한 논쟁을 철저히 검토하며, 통계적 추론이 모델링, 사전 분포, 튜닝 파rameter 등에서 본질적으로 주관적인 선택을 수반한다는 점을 주장한다. 이는 모든 이러한 선택—의식적인 것과 암묵적인 것—을 투명하게 공개함으로써 재현 가능성, 모델 인식, 지식론적 엄밀성을 향상시키며, 통계 방법론에서의 객관성의 환영을 도전한다.

ABSTRACT

This note is a collection of several discussions of the paper "Beyond subjective and objective in statistics", read by A. Gelman and C. Hennig to the Royal Statistical Society on April 12, 2017, and to appear in the Journal of the Royal Statistical Society, Series A.

연구 동기 및 목표

• 주관적 통계와 객관적 통계 사이의 뿌리내린 대립을 도전하며, 이는 통계 실천의 복잡성을 단순화한다고 주장한다.
• 모델 선택, 사전 분포, 모델 가정, 튜닝 파ram터 등 모든 운영자에 의존하는 선택을 명시적으로 기록함으로써 통계 방법론의 투명성을 증진한다.
• 특히 점근적 해석이나 최대 엔트로피 사전 분포와 같은 좁은 해석으로 축소되었을 때, 기존의 통계 프레임워크—특히 빈도주의 및 베이지안 프레임워크—의 한계를 부각한다.
• 가정이 종종 숨겨지거나 인정되지 않아 재현 가능성과 비판적 평가를 약화시키는 통계 실천의 지식론적 갭을 다룬다.
• 모델을 가진 비판적 합리주의 접근 방식을 주장하며, 모델을 절대적 진리가 아니라 시험 가능하고 수정 가능한 것으로 간주한다.

제안 방법

• 특히 무작위성과 확률적 생성 모델에 대한 의존성에 기반한 통계적 추론의 기초 가정을 철저히 분석한다.
• 모델 선택, 사전 분포 설정, 파ram터 튜닝에서의 주관적 선택의 역할을 검토하며, 이러한 선택들이 피할 수 없고 명시되어야 한다고 주장한다.
• '주관적 대 객관적'이라는 잘못된 대립에서 벗어나, 투명성, 재현 가능성, 모델 인식을 강조하는 프레임워크로의 전환을 제안한다.
• 통계 분석에서의 '갈림길' 개념을 도입하며, 모델 구축 과정에서의 여러 결정들이 서로 다른 결론을 이끌 수 있음을 설명한다.
• 모든 방법론적 선택을 검토할 수 있도록 논문에 코드와 데이터 공유를 포함할 것을 주장한다.
• 크리티컬 라이살리즘(포퍼의 반증주의)을 활용하여 통계 모델을 검증하고 업데이트할 수 있는 가설로 간주하며, 고정된 진리로 보지 않는다.

실험 결과

연구 질문

• RQ1 모든 주관적 선택—의식적인 것과 암묵적인 것—을 투명하고 책임감 있게 공개할 수 있도록 통계 실천을 어떻게 개선할 수 있는가?
• RQ2 통계에서 객관성의 환영이 주로 무시된 모델 가정과 튜닝 파ram터에서 비롯되는 정도는 어느 정도인가?
• RQ3 기존의 주관적 대 객관적 통계의 구분이 실제 적용에서 지식론적으로 오류가 있고 도움이 되지 않는 이유는 무엇인가?
• RQ4 비실험적 또는 M-오픈 환경에서 모델 불확실성의 현실을 어떻게 더 잘 반영할 수 있는가?
• RQ5 소프트웨어 도구와 기본 설정이 잘못된 통계 실천을 널리 사용되게 유지하는 데 어떤 역할을 하는가?

주요 결과

• 모델 사양, 사전 분포 선택, 튜닝 파ram터 선택에서 피할 수 없는 선택들이 존재하므로 통계적 추론은 본질적으로 주관적이다. 빈도주의 및 베이지안 프레임워크 모두 마찬가지다.
• 데이터의 무작위성 가정은 철학적으로 취약하며 자주 검증할 수 없어 확률적 모델링의 기초를 약화시킨다.
• 머신러닝과 비모수 통계에서 사용되는 많은 통계 방법들은 그 널리 퍼진 중립성의 인식과는 달리 본질적으로 더 객관적이지 않다.
• 현재의 통계 생태계는 사용자 친화적인 소프트웨어를 통해 '클릭 앤 샷' 분석 방식을 장려하며, 이는 배경 가정을 가림으로써 객관성의 잘못된 느낌을 조장한다.
• 모든 방법론적 선택—코드와 데이터 포함—을 완전히 기록하도록 의무화하는 제안은 연구자와 저널에서의 낮은 수용도로 인해 실천적 장벽에 부딪힌다.
• 모델을 검증 가능하고 수정 가능한 것으로 간주하는 비판적이고 반증주의적 접근 방식—즉, 모델을 고정된 진리가 아니라 시험 가능한 가설로 보는 방식—은 기존의 대립에 비해 더 타당한 지식론적 기초를 제공한다.