[논문 리뷰] On "Strong control, conservative point estimation and simultaneous conservative consistency of false discovery rates": Does a large number of tests obviate confidence intervals of the FDR?

David R. Bickel|ArXiv.org|2004. 04. 23.

Statistical Methods in Clinical Trials참고 문헌 5인용 수 9

한 줄 요약

이 논문은 다수의 가설 검정이 이루어질 경우 False Discovery Rate (FDR) 추정에서 신뢰구간이 불필요해진다는 가정을 도전한다. 수천 개의 검정이 이루어져도 검정 통계량 간의 장거리 상관관계로 인해 분산이 커지고 수용할 수 없을 정도로 넓은 신뢰구간이 발생할 수 있음을 보여주며, 이는 테스트 수가 증가함에 따라 점점 더 보수적인 수렴을 보이더라도 FDR 추정기의 신뢰성 측정이 필요하다는 것을 시사한다.

ABSTRACT

A previously proved theorem gives sufficient conditions for an estimator of the false discovery rate (FDR) to conservatively converge to the FDR with probability 1 as the number of hypothesis tests increases, even for small sample sizes. It does not follow that several thousand tests ensure that the estimator has moderate variance under those conditions. In fact, they can hold even if the test statistics have long-range correlations, which yield unacceptably wide confidence intervals, as observed in genomic data when there are 8 or 16 individuals (microarrays) per group. Thus, informative FDR estimation will include some measure of its reliability.

연구 동기 및 목표

• 수천 개의 가설 검정이 이루어질 경우 False Discovery Rate (FDR)에 대한 신뢰구간이 불필요한가를 조사한다.
• 검정 통계량 간의 장거리 상관관계가 FDR 추정기의 분산에 어떤 영향을 미치는지 분석한다.
• FDR 추정기가 진짜 FDR에 대해 보수적인 수렴을 보일 경우 이것이 실용적 사용에 충분한 정밀도를 의미하는가를 평가한다.
• 보수적인 수렴이 이루어져도 신뢰성 있는 FDR 추정을 위해서는 불확실성 측정이 필요하다고 주장한다.
• 작은 표본 크기(예: 그룹당 8명 또는 16명)를 가진 게놈 연구에서 FDR 추정의 신뢰성을 평가한다.

제안 방법

• 테스트 수가 증가함에 따라 FDR 추정기의 渐近적 행동을 분석한다.
• FDR 추정기가 확률 1로 진짜 FDR에 대해 보수적으로 수렴하는 조건을 검토한다.
• 큰 수의 테스트가 이루어져도 지속될 수 있는 검정 통계량 간의 장거리 상관관계의 역할을 고려한다.
• 이러한 상관관계 구조 하에서 FDR 추정기의 분산을 평가하며, 이로 인해 여전히 수용할 수 없을 정도로 높을 수 있음을 보여준다.
• 이론적 분석을 통해 보수적인 수렴이 낮은 분산이나 좁은 신뢰구간을 의미하지는 않음을 입증한다.
• 특히 표본 크기가 작은 게놈 데이터에서 추정기의 신뢰성 반영을 위해 FDR 추정에 신뢰구간을 통합할 것을 주장한다.

실험 결과

연구 질문

• RQ1 수천 개의 가설 검정이 이루어질 경우 FDR 추정에서 신뢰구간이 불필요한가?
• RQ2 검정 통계량 간의 장거리 상관관계가 FDR 추정기의 분산에 어떤 영향을 미치는가?
• RQ3 FDR 추정기가 진짜 FDR에 대해 보수적으로 수렴하는 것과 함께 높은 분산과 넓은 신뢰구간이 공존할 수 있는가?
• RQ4 작은 표본 크기(예: 그룹당 8명 또는 16명)가 FDR 추정의 신뢰성에 어느 정도 영향을 미치는가?
• RQ5 정밀도를 평가하지 않고도 보수적인 점 추정에만 의존하는 것이 충분한가?

주요 결과

• 수천 개의 검정이 이루어져도 검정 통계량 간의 장거리 상관관계로 인해 FDR 추정기의 분산이 높을 수 있다.
• FDR 추정기가 진짜 FDR에 대해 보수적으로 수렴한다고 해도 분산이 낮거나 신뢰구간이 좁다는 의미는 아니다.
• 특히 표본 크기가 작은 게놈 연구에서 FDR 추정의 신뢰성 평가를 위해 신뢰구간이 여전히 필수적이다.
• 넓은 신뢰구간은 장거리 상관관계로 인해 발생할 수 있으며, 이는 점 추정값만으로는 추론에 부적절하다.
• 마이크어레이 연구에서 그룹당 8명 또는 16명의 개체가 존재할 경우, 수천 개의 검정이 이루어져도 수용할 수 없을 정도로 넓은 신뢰구간이 발생할 수 있다.
• 정보적인 FDR 추정은 통계적 신뢰성을 확보하기 위해 불확실성 측정을 포함해야 한다.