[논문 리뷰] A Theory of Statistical Inference for Ensuring the Robustness of Scientific Results

Beau Coker, Cynthia Rudin외 1명|arXiv (Cornell University)|2018. 04. 23.

Statistical and Computational Modeling참고 문헌 69인용 수 15

한 줄 요약

이 논문은 과학적 결과의 강건성과 재현 가능성을 향상시키기 위해 합리적이고 솔직한 데이터 분석 선택에 기인하는 가능한 결과의 범위를 정량화하는 새로운 통계적 추론 이론인 해킹 간격(hacking intervals)을 제안한다. 고전적 신뢰구간과 달리 해킹 간격은 가상의 초집단이나 확률 이론에 의존하지 않으며, 모형 설정에서 연구자의 자유도에 기인한 불확실성에 대한 더 직관적이고 투명하며 해석 가능한 측도를 제공한다.

ABSTRACT

Inference is the process of using facts we know to learn about facts we do not know. A theory of inference gives assumptions necessary to get from the former to the latter, along with a definition for and summary of the resulting uncertainty. Any one theory of inference is neither right nor wrong, but merely an axiom that may or may not be useful. Each of the many diverse theories of inference can be valuable for certain applications. However, no existing theory of inference addresses the tendency to choose, from the range of plausible data analysis specifications consistent with prior evidence, those that inadvertently favor one's own hypotheses. Since the biases from these choices are a growing concern across scientific fields, and in a sense the reason the scientific community was invented in the first place, we introduce a new theory of inference designed to address this critical problem. We introduce hacking intervals, which are the range of a summary statistic one may obtain given a class of possible endogenous manipulations of the data. Hacking intervals require no appeal to hypothetical data sets drawn from imaginary superpopulations. A scientific result with a small hacking interval is more robust to researcher manipulation than one with a larger interval, and is often easier to interpret than a classical confidence interval. Some versions of hacking intervals turn out to be equivalent to classical confidence intervals, which means they may also provide a more intuitive and potentially more useful interpretation of classical confidence intervals.

연구 동기 및 목표

• 연구자가 데이터 분석 과정에서 가지는 자유도가 편향되고, 강건하지 않으며, 재현 불가능한 과학적 결과를 초래한다는 점이 점점 더 우려되고 있는 데에 대응하기 위해.
• 합리적이고 솔직한 분석 선택이 경험적 결론에 미치는 영향을 정량화하는 추론 이론을 개발하기 위해.
• 확률 이론에 의존하지 않으며, 모형 및 분석 설정에 기인한 불확실성을 반영하는, 투명하고 해석 가능한 고전적 신뢰구간의 대체 방법을 제공하기 위해.
• 연구자가나 독자가 어떤 결과가 다른 합리적인 분석 결정 하에서 달라질지 평가할 수 있도록 함으로써 과학적 정당성을 향상시키기 위해.
• 특히 모형 의존성과 측정되지 않은 혼란요인 하에서 관찰 및 인과 추론 설정에서 재현 가능성과 강건성을 지원하는 프레임워크를 체계화하기 위해.

제안 방법

• 해킹 간격의 두 가지 유형인 사전 제약형과 터널링형을 제안하며, 둘 다 합리적인 분석 선택 집합 내에서 요약 통계량(예: 회귀 계수)의 범위를 정의한다.
• 모형 클래스, 손실 함수, 예측 성능에 대한 제약 조건을 사용하여 간격의 범위를 정의함으로써, 합리적인 연구자가 유효하다고 여길 만한 범위에 부합하도록 보장한다.
• 터널링형 해킹 간격은 선택된 모형이 관측된 데이터에서 작은 손실을 기록하기만 하면 되며, 모든 분석 경로를 명시적으로 나열할 필요가 없다.
• 최대우도 설정에서는 터널링형 해킹 간격이 프로파일 우도 신뢰구간과 수학적으로 동일하며, 확률 이론을 요구하지 않는 새로운 직관적 해석을 제공한다.
• 최소제곱 추정에 프레임워크를 적용하여, t분포와 카이분포의 성질을 이용해 해킹 간격 경계의 분산에 대한 정확한 표현을 유도한다.
• 바프니크-처보넨키스 이론을 사용하여 분석 변화에 대한 모델 복잡도와 일반화 오차 간의 관계를 연결하는 일반화 경계를 유도한다.

실험 결과

연구 질문

• RQ1 실제 연구에서 합리적이고 솔직한 데이터 분석 선택이 얼마나 다양한 경험적 결론을 초래하는가?
• RQ2 가상의 초집단에 의존하지 않으면서도, 투명하고 해석 가능하며, 이러한 분석 선택에 기인한 불확실성을 정량화할 수 있는가?
• RQ3 해킹 간격은 해석 및 통계적 성질 측면에서 고전적 신뢰구간과 어떻게 비교되는가?
• RQ4 해킹 간격은 프로파일 우도 구간과 같은 기존 통계 방법과 공식적으로 연결될 수 있는가?
• RQ5 분석 절차가 솔직하지만 다양한 선택에 의해 영향을 받을 경우 모델의 일반화 오차는 어떻게 되는가?

주요 결과

• 해킹 간격은 데이터 분석에서 솔직한 연구자 선택에 기인한 강건성에 대한 직접적이고 직관적인 측도를 제공하며, 간격이 작을수록 더 강건함을 의미한다.
• 터널링형 해킹 간격은 프로파일 우도 신뢰구간과 수학적으로 동일하며, 고전적 구간에 확률 이론을 요구하지 않는 새로운 해석을 제공한다.
• 최소제곱 ATE 해킹 간격의 경계 분산은 잔차 제곱합과 자유도에 의존하며, 카이분포 성질을 이용해 정확한 공식이 도출되었다.
• 개별 치료 효과 추정에 있어서 해킹 간격의 경계는 보완성 조건을 갖는 최적화를 통해 유도되며, 최소제곱 추정치를 중심으로 대칭적인 간격을 형성한다.
• 개별 치료 효과의 해킹 간격 경계점은 스케일링 인자 √(θ − SSE) / ||XΥ||가 t분포의 임계값과 표준오차의 곱과 일치할 경우 표준 신뢰구간의 경계점과 일치한다.
• VC 이론을 사용하여 해킹된 모델에 대한 일반화 경계를 도출하였으며, 복잡도가 유계이고 분석 변화가 있을 경우 진짜 위험이 경험 위험에 가까워지며, 높은 확률로 성립함을 보였다.