[논문 리뷰] Prediction can be safely used as a proxy for explanation in causally consistent Bayesian generalized linear models

Maximilian Scholz, Paul‐Christian Bürkner|arXiv (Cornell University)|2022. 10. 13.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 베이지안 일반화선형모형에서 예측이 설명의 대체 척도로 신뢰성 있게 기능할 수 있는지 조사한다. 대규모 시뮬레이션을 통해 예측이 설명의 타당한 대체 척도로 기능하는 것은 모델이 진짜 데이터 생성 과정과 인과적으로 일치할 때에만 가능하며, 이는 예측과 설명 사이의 핵심 연결고리로 인과성이 존재함을 시사한다.

ABSTRACT

Bayesian modeling provides a principled approach to quantifying uncertainty in model parameters and model structure and has seen a surge of applications in recent years. Within the context of a Bayesian workflow, we are concerned with model selection for the purpose of finding models that best explain the data, that is, help us understand the underlying data generating process. Since we rarely have access to the true process, all we are left with during real-world analyses is incomplete causal knowledge from sources outside of the current data and model predictions of said data. This leads to the important question of when the use of prediction as a proxy for explanation for the purpose of model selection is valid. We approach this question by means of large-scale simulations of Bayesian generalized linear models where we investigate various causal and statistical misspecifications. Our results indicate that the use of prediction as proxy for explanation is valid and safe only when the models under consideration are sufficiently consistent with the underlying causal structure of the true data generating process.

연구 동기 및 목표

• 베이지안 모델 선택에서 예측이 설명의 신뢰할 수 있는 대체 척도로 사용될 수 있는 조건을 규명하는 것.
• 다양한 인과적 및 통계적 오특사정 하에서 예측 성능와 매개변수 복원 가능성(설명) 사이의 관계를 조사하는 것.
• 인과성이 통계 모델링에서 예측과 설명을 연결하는 데 있어 부족한 연결고리로 작용하는지 평가하는 것.
• 통제된 인과적 구조 하에서 베이지안 모델 성능을 연구하기 위한 시뮬레이션 프레임워크를 개발하고 검증하는 것.
• 모델 선택이 예측 기반일 때도 기저의 데이터 생성 과정을 설명할 수 있는 모델을 도출할 수 있는 조건에 대한 경험적 증거를 제공하는 것.

제안 방법

• 통제된 알려진 데이터 생성 과정(DGP) 하에서 대규모 시뮬레이션을 통해 베이지안 일반화선형모형을 구동하는 것.
• 인과적 구조와 통계적 가정을 체계적으로 변화시켜 오특사정 하에서의 모델 성능을 평가하는 것.
• 예측 성능(PP)을 교차검증 및 외부 샘플 예측 정확도로 측정하고, 매개변수 복원 가능성(PR)을 설명의 대체 척도로 사용하는 것.
• 다른 인과적 가정을 가진 모델들 간의 PP와 PR을 비교하여 그 관계를 평가하는 것.
• 실험 설정의 재현성과 확장성을 확보하기 위해 시뮬레이션 연구에 특화된 R 패키지를 사용하는 것.
• 모델 불확실성을 고려하여 교차검증 및 외부 샘플 예측 지표를 적용하여 예측 성능을 평가하는 것.

Figure 1: High-level overview of our conceptual framework that connects explanation and prediction in statistical modeling. See Section 1.1 for further details.

실험 결과

연구 질문

• RQ1 베이지안 모델 선택에서 예측이 설명의 타당한 대체 척도로 사용될 수 있는 조건은 무엇인가?
• RQ2 가정된 데이터 생성 과정과 진짜 데이터 생성 과정 사이의 인과 일치성이 예측과 설명 사이의 관계에 어떻게 영향을 미치는가?
• RQ3 인과적 구조가 다를 경우, 향상된 예측 성능이 반드시 더 나은 매개변수 복원 가능성으로 이어지는가?
• RQ4 데이터 생성 과정에서의 다양한 가능도 형태가 예측-설명 관계에 어떻게 영향을 미치는가?
• RQ5 사전 분포나 정규화가 모델 평가에서 예측과 설명 사이의 연결고리에 어느 정도 영향을 미치는가?

주요 결과

• 예측이 설명의 안전한 대체 척도로 사용될 수 있는 것은 모델이 진짜 데이터 생성 과정과 인과적으로 일치할 때에만 가능하다.
• 인과적 일치가 이루어질 경우, 예측 성능 향상과 함께 설명 성능도 향상되며, 이는 두 요소 사이에 강력한 연결고리가 있음을 시사한다.
• 인과 오특사정(예: 콜라이더 포함)이 존재할 경우, 예측 성능은 향상될 수 있지만 설명 성능은 악화될 수 있어, 대체 척도 가정이 붕괴된다.
• 모델 간의 기저 인과적 가정이 다를 경우, 예측과 설명 사이의 관계는 붕괴되며, 이는 모든 모델이 비편향일지라도 마찬가지다.
• 특정 시나리오(예: 참/거짓 양성률)에서의 바닥 및 천장 효과로 인해 극단적인 경우 결과의 해석이 어려웠지만, 전체 결론은 여전히 탄탄했다.
• 연구 결과는 인과성이 모델 선택에서 예측이 설명 능력을 신뢰성 있게 반영하는지 여부를 결정하는 핵심 요소임을 시사한다.

Figure 2: Conceptual simulation architecture. We generated 200 data sets for each entry from a list of data-generating configurations (see Table 1 ) for a total of $28,800$ datasets. We then fit a model for each entry from a list of model-fitting configurations (see Table 2 ) to each data set for a