[논문 리뷰] Comparison of the likelihood ratios of two diagnostic tests subject to a paired design: confidence intervals and sample size

José Antonio Roldán Nofuentes, Saad Bouh Sidaty-Regad|arXiv (Cornell University)|2024. 07. 31.

Reliability and Agreement in MeasurementDecision Sciences인용 수 3

한 줄 요약

이 논문은 두 개의 짝을 이룬 이진 진단 검사의 양성 및 음성 양성률 비율을 비교하기 위한 여섯 가지 근사 신뢰구간을 제안하고, 시뮬레이션을 통해 그 침습 확률과 평균 길이를 평가하며, 양성률 비율을 추정할 때 원하는 정밀도를 확보하기 위한 표본 크기 계산 방법을 제시한다. 이 방법은 관상동맥질환 데이터를 활용하여 검증되었으며, 짝을 이룬 설계에서 진단 검사 비교를 위한 실용적인 도구를 제공한다.

ABSTRACT

Positive and negative likelihood ratios are parameters which are used to assess and compare the effectiveness of binary diagnostic tests. Both parameters only depend on the sensitivity and specificity of the diagnostic test and are equivalent to a relative risk. This article studies the comparison of the likelihood ratios of two binary diagnostic tests subject to a paired design through confidence intervals. Six approximate confidence intervals are presented for the ratio of the likelihood ratios, and simulation experiments are carried out to study the coverage probabilities and the average lengths of the intervals considered, and some general rules of application are proposed. A method is also proposed to determine the sample size necessary to estimate the ratio between the likelihood ratios with a determined precision. The results were applied to the diagnosis of coronary artery disease.

연구 동기 및 목표

• 짝을 이룬 진단 검사 설계에서 양성 및 음성 양성률 비율의 비율을 위한 신뢰구간을 개발하고 평가하는 것.
• 침습 확률과 구간 길이 측면에서 다양한 표본 크기와 매개변수 설정에서 여섯 가지 근사 신뢰구간 방법의 성능을 시뮬레이션을 통해 평가하는 것.
• 원하는 정밀도로 양성률 비율을 추정하기 위해 보장하는 표본 크기 계산 절차를 제안하는 것.
• 이러한 방법을 실제 진단 연구에 적용하기 위한 실용적이고 데이터 기반의 지침을 제공하는 것.
• 관상동맥질환 진단에 대한 응용을 통해 이 방법의 유용성을 입증하는 것.

제안 방법

• 이론적 점근 분포 이론과 분산 안정화 변환을 사용하여 짝을 이룬 설계 하에서 양성률 비율에 대한 여섯 가지 근사 신뢰구간 방법을 유도한다.
• 각 신뢰구간의 침입 확률과 평균 길이를 다양한 표본 크기와 매개변수 설정에서 평가하기 위해 시뮬레이션 실험을 실시한다.
• 양성률 비율을 델타 방법과 피엘러의 정리로 모델링하여 짝을 이룬 검사 간의 상관관계를 고려한다.
• 예상 민감도와 특이도를 포함하여 원하는 오차 범위와 신뢰수준를 고려하여 양성률 비율의 표본 크기 공식을 유도한다.
• 실제 침입률과 평균 구간 길이를 사용하여 각 방법의 성능을 비교하고, 시뮬레이션 결과에 기반한 권고 사항을 제시한다.
• 실제 관상동맥질환 데이터셋에 이 방법을 적용하여 실용적 구현과 해석을 설명한다.

실험 결과

연구 질문

• RQ1 여섯 가지 제안된 양성률 비율의 근사 신뢰구간 방법 중 어느 것이 짝을 이룬 설계에서 침입 확률과 구간 길이 측면에서 가장 우수한가?
• RQ2 이러한 신뢰구간의 성능은 다양한 표본 크기와 기저의 민감도/특이도 값에 따라 어떻게 달라지는가?
• RQ3 지정된 오차 범위와 신뢰수준로 양성률 비율을 추정하기 위해 필요한 최적의 표본 크기는 얼마인가?
• RQ4 기존 방법과 비교할 때 제안된 방법은 통계적 효율성과 정확도 측면에서 어떻게 다른가?
• RQ5 관상동맥질환과 같이 실제 진단 검사 비교에 이 방법을 신뢰성 있게 적용할 수 있는가?

주요 결과

• 시뮬레이션 결과, 수정된 스코어 기반 신뢰구간 방법이 다양한 시나리오에서 가장 정확한 침입 확률를 보였으며, 명목상의 신뢰수준에 매우 가까웠다.
• 각 방법 간의 평균 구간 길이에 큰 차이가 있었으며, 스코어 기반 접근법이 정밀도와 침입 확률 사이의 유리한 균형을 제공했다.
• 제안된 표본 크기 공식은 양성률 비율의 오차 범위를 효과적으로 통제하였으며, 예상 민감도와 특이도가 정확할 경우 침입률이 명목 수준에 가까웠다.
• 이 방법은 관상동맥질환 데이터셋에 성공적으로 적용되어 임상 진단 연구에서의 실용적 유용성을 입증하였다.
• 일반적인 적용 지침을 제안하며, 우수한 성능를 보이는 점을 감안해 대부분의 시나리오에서 스코어 기반 신뢰구간을 권장한다.
• 이 연구는 짝을 이룬 설계에서 양성률 비율 비교에 전용 방법이 필요하다는 것을 확인하였으며, 표준 독립 표본 접근법은 편향된 추론을 초래할 수 있다.