[논문 리뷰] Conflict diagnostics for evidence synthesis in a multiple testing framework

Anne M. Presanis, David Ohlssen외 3명|arXiv (Cornell University)|2017. 02. 23.

Statistical Methods and Bayesian Inference참고 문헌 33인용 수 5

한 줄 요약

이 논문은 방향성 비순환 그래프(DAG)에서 노드 간의 불일치를 평가할 때 다중 검정을 고려하여 베이지안 그래픽 모델에서 증거 통합을 위한 체계적인 갈등 진단 프레임워크를 제안한다. 최대-T 유형의 다중 검정 보정을 노드 분할 갈등 p-값에 적용함으로써, 복잡한 증거 통합에서 모델-데이터 갈등을 견고하게 탐지할 수 있다. 이는 네트워크 메타분석과 HIV 유병률 추정에서 실증적으로 확인되었다.

ABSTRACT

Evidence synthesis models that combine multiple datasets of varying design, to estimate quantities that cannot be directly observed, require the formulation of complex probabilistic models that can be expressed as graphical models. An assessment of whether the different datasets synthesised contribute information that is consistent with each other, and in a Bayesian context, with the prior distribution, is a crucial component of the model criticism process. However, a systematic assessment of conflict suffers from the multiple testing problem, through testing for conflict at multiple locations in a model. We demonstrate the systematic use of conflict diagnostics, while accounting for the multiple hypothesis tests of no conflict at each location in the graphical model. The method is illustrated by a network meta-analysis to estimate treatment effects in smoking cessation programs and an evidence synthesis to estimate HIV prevalence in Poland.

연구 동기 및 목표

• 다중 불일치 검정이 유의수준 오류 증가를 유발할 수 있는 증거 통합 모델에서 체계적인 갈등 탐지를 해결하기 위해.
• DAG의 다수의 노드 또는 분할에서 갈등을 평가할 때 다중 검정을 고려한 방법을 개발하여 통계적 타당성을 확보하기 위해.
• 데이터, 사전분포, 모델 가정 간의 불일치를 탐지하기 위한 원칙적인 접근을 제공함으로써 베이지안 증거 통합의 모델 비판을 향상시키기 위해.
• 단일 검정 기반 접근 방식이 갈등을 가림으로써 숨길 수 있는 실제 응용 분야에서의 유용성을 입증하기 위해, 네트워크 메타분석과 HIV 유병률 추정을 포함한다.
• 국소적 불일치를 놓칠 수 있는 고립된 글로벌 검정에 의존하는 것 대신, 종합적이고 노드 기반의 갈등 평가를 촉진하기 위해.

제안 방법

• 분리 노드에서 모델을 두 개의 독립적인 부분 그래프로 분할함으로써, DAG에서 국소적 갈등 평가를 가능하게 하는 노드 분할 기법을 사용한다.
• 각 노드 분할에서 데이터와 모델 가정 간의 일관성을 평가하기 위해 교차검증 진단으로 갈등 p-값을 활용한다.
• 모든 노드 분할 검정에서 가족-wise 오류율을 통제하기 위해 Hothorn 등(2008), Bretz 등(2011)이 제안한 최대-T 다중 검정 보정 프레임워크를 적용한다.
• 관측된 데이터가 사전분포 하에서 모델의 예측 분포와 일관한지 평가하기 위해 사후 예측 검증을 구현한다.
• 조건부 독립성을 그래프 구조에 의해 표현하는 모듈러하고 계층적인 베이지안 프레임워크를 사용하여 증거 통합 모델을 방향성 비순환 그래프(DAG)로 표현한다.
• 대조 기반 및 암 기반 파arameterization에 모두 이 방법을 적용하며, 네트워크 메타분석과 유병률 추정에 초점을 맞추고, 분할 선택에 대한 민감도를 탐색한다.

실험 결과

연구 질문

• RQ1 다중 검정으로 인한 유의수준 오류 증가를 방지하면서, 베이지안 증거 통합 모델의 모든 노드에 대해 갈등 진단을 체계적으로 적용하는 방법은 무엇인가?
• RQ2 다른 노드 분할 방식이 DAG 내 불일치 탐지에 미치는 영향은 무엇이며, 이러한 변동성을 어떻게 다룰 수 있는가?
• RQ3 최대-T 유형의 다중 검정 보정이 갈등 진단에서 가족-wise 오류율을 효과적으로 통제하면서도 통계적 검정력을 유지할 수 있는가?
• RQ4 모델 파arameterization의 선택(예: 대조 기반 대비 암 기반)이 네트워크 메타분석에서 갈등 탐지에 어떤 영향을 미치는가?
• RQ5 글로벌 갈등 검정은 국소적 불일치를 탐지하지 못할 정도로 얼마나 제한되어 있으며, 종합적인 노드 기반 평가는 모델 비판을 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 최대-T 보정을 사용하여 DAG에서 다수의 노드에서 갈등을 검정할 때 가족-wise 오류율을 성공적으로 통제한다.
• 갈등 진단은 노드 분할 방식의 선택에 민감하며, 서로 다른 분할 방식은 갈등 존재 여부에 대해 다른 결론을 도출할 수 있다.
• 갈등이 없는 귀무가설 하에서 갈등 p-값은 계층 모델의 광범위한 클래스에서 균일 분포를 이룬다. 이는 진단 도구로서의 타당성을 뒷받침한다.
• 글로벌 갈등 검정은 분할 선택에 따라 변하지 않으며, 이는 단일 글로벌 검정에 의존하는 모델 비판의 한계를 드러낸다.
• 모든 가능한 노드 분할에서 시작하는 체계적이고 노드 기반의 갈등 평가는 고립된 글로벌 검정보다 신뢰성이 높으며, 다른 접근 방식에 의해 가려질 수 있는 불일치를 탐지할 수 있다.
• 설계-치료 상호작용 모델은 노드 분할 모델의 포화된 표현임을 입증하였으며, 기존의 불일치 모델과 제안된 진단 프레임워크 사이에 공식적인 연결 고리를 시사한다.