[논문 리뷰] Pitfalls and potentials in simulation studies: Questionable research practices in comparative simulation studies allow for spurious claims of superiority of any method

Samuel Pawel, Lucas Kook외 1명|arXiv (Cornell University)|2022. 03. 24.

Data Analysis with R인용 수 5

한 줄 요약

이 논문은 비교 시뮬레이션 연구에서의 의심스러운 연구 관행(QRPs)이 실질적인 성능 향상이 없는 방법에 대해서조차도 방법론적 열세를 잘못 주장하게 할 수 있음을 폭 드러낸다. 사전 등록된 시뮬레이션 연구를 통해 저자들은 선택적 보고, 파라미터 조정, 결과 전환과 같은 행위가 어떤 방법이라도 열세를 보일 수 있도록 만들 수 있음을 입증하며, 시뮬레이션 연구에서 사전 등록, 코드 및 데이터 공유, 방법론적 투명성의 긴급한 필요성을 강조한다.

ABSTRACT

Comparative simulation studies are workhorse tools for benchmarking statistical methods. As with other empirical studies, the success of simulation studies hinges on the quality of their design, execution and reporting. If not conducted carefully and transparently, their conclusions may be misleading. In this paper we discuss various questionable research practices which may impact the validity of simulation studies, some of which cannot be detected or prevented by the current publication process in statistics journals. To illustrate our point, we invent a novel prediction method with no expected performance gain and benchmark it in a pre-registered comparative simulation study. We show how easy it is to make the method appear superior over well-established competitor methods if questionable research practices are employed. Finally, we provide concrete suggestions for researchers, reviewers and other academic stakeholders for improving the methodological quality of comparative simulation studies, such as pre-registering simulation protocols, incentivizing neutral simulation studies and code and data sharing.

연구 동기 및 목표

• 비교 시뮬레이션 연구에서의 의심스러운 연구 관행(QRPs)이 방법론적 열세를 잘못 주장하게 될 수 있음을 폭 드러내는 것.
• 실질적인 성능 향상이 없는 방법이라도 선택적 보고, 파라미터 조정 등의 QRPs를 적용할 경우 열세로 보일 수 있음을 입증하는 것.
• 현재 시뮬레이션 연구 보고서에서의 방법론적 엄격함과 투명성 부족이 재현성과 재현 가능성을 해칠 수 있음을 부각하는 것.
• 사전 등록된 시뮬레이션 프rotocol, 중립적 벤치마킹, 코드 및 데이터 공개와 같은 개선된 기준을 주장하는 것.
• 연구자, 심사자, 출판사가 잘못된 시뮬레이션 연구가 과학적 및 임상적 의사결정에 영향을 미칠 수 있는 위험을 인지하도록 경고하는 것.

제안 방법

• 실제 성능 향상이 예상되지 않는 새로운 예측 방법을 기존 방법들과 비교하기 위해 사전 등록된 비교 시뮬레이션 연구를 수행하는 것.
• 성능 차이를 공식적으로 검정하기 위해 완전히 상호작용된 회귀 모델(estimand ~ 0 + method:scenario)을 사용하는 것.
• 각 시뮬레이션 조건 내에서의 쌍별 비교에 대해 p-값 조정을 위해 단일 단계 다중검정 보정(Hothorn et al., 2008)을 적용하는 것.
• 몬테카를로 표준오차 요구사항을 충족시키기 위해 시뮬레이션 반복 수(B = 2000)를 결정하며, 최악의 경우 분산을 추정하기 위해 초기 소규모 실행을 수행하는 것.
• 수렴 실패는 수렴하지 못한 시뮬레이션을 제외하고 실패 비율을 보고하며, 실패 비율이 10%를 초과할 경우에만 사후 파라미터 조정을 시행하는 것.
• Brier 점수와 AUC와 같은 성능 지표를 사용하며, 상자 그림과 바이올린 그림을 통한 시각적 평가와 함께 신뢰구간 포함 요약 통계를 계산하는 것.

실험 결과

연구 질문

• RQ1 실제 성능 이점이 없는 방법에 대해 의심스러운 연구 관행(QRPs)이 얼마나 큰 영향을 미쳐 열세를 잘못 주장하게 할 수 있는가?
• RQ2 선택적 보고, 파라미터 조정, 결과 전환은 시뮬레이션 연구에서 통계적 방법의 성능 인식을 어떻게 왜곡하는가?
• RQ3 현재 시뮬레이션 연구 설계 및 보고서에서 재현성과 재현 가능성을 해치는 주요 방법론적 결함은 무엇인가?
• RQ4 사전 등록과 코드 및 데이터의 개방은 비교 시뮬레이션 연구의 신뢰성과 투명성을 어떻게 향상시킬 수 있는가?
• RQ5 연구자, 심사자, 출판사가 편향되거나 오해의 소지가 있는 시뮬레이션 연구 결과의 위험을 줄이기 위해 어떤 구체적 실천을 채택할 수 있는가?

주요 결과

• 실제 성능 향상이 기대되지 않는 새로운 예측 방법이 선택적 보고 및 파라미터 조정과 같은 의심스러운 연구 관행을 통해 기존 방법들보다 열세로 보이게 되었다.
• QRPs가 적용된 경우, 실질적인 이점이 없는 방법이 12.5%의 시뮬레이션 조건에서 통계적으로 유의미한 열세 주장에 도달할 수 있음을 시험에서 입증하였다.
• Brier 점수 추정기의 몬테카를로 표준오차를 0.0001 이하로 유지하기 위해 필요한 시뮬레이션 반복 수는 2000으로 결정되었다.
• 수렴 실패는 비수렴 시뮬레이션을 제외하고 실패 비율을 보고하는 방식으로 체계적으로 처리하였으며, 실패 비율이 10%를 초과할 경우에만 사후 파라미터 조정을 시행하였다.
• 방법과 시뮬레이션 조건 간의 상호작용 항을 포함한 완전히 상호작용된 회귀 모델을 사용함으로써 성능 차이의 공식적이고 통계적으로 엄격한 비교가 가능해졌다.
• 현재 저널 정책가 시뮬레이션 연구에서 방법론적 엄격함을 확실히 이행하지 못하고 있으며, 사전 등록 및 코드/데이터 공개가 이루어지지 않아 감지되지 않은 편향이 존재할 여지가 있음을 드러냈다.