[논문 리뷰] NeuralFDR: Learning Discovery Thresholds from Hypothesis Features

Fei Xia, Martin Jinye Zhang외 2명|arXiv (Cornell University)|2017. 11. 03.

Gene expression and cancer classification참고 문헌 14인용 수 10

한 줄 요약

NeuralFDR는 다중 검정에서 다차원 가설 특징을 기반으로 딥러닝 기반 방법을 사용하여 발견 임계치를 학습하는 방법을 제안한다. 신경망을 통해 p-값 절단값을 적응적으로 설정하며, 높은 확률로 잘못된 발견률(FDR)을 통제하고, 합성 및 실재 데이터셋에서 최신 기법들에 비해 유의미하게 더 많은 발견을 가능하게 한다.

ABSTRACT

As datasets grow richer, an important challenge is to leverage the full features in the data to maximize the number of useful discoveries while controlling for false positives. We address this problem in the context of multiple hypotheses testing, where for each hypothesis, we observe a p-value along with a set of features specific to that hypothesis. For example, in genetic association studies, each hypothesis tests the correlation between a variant and the trait. We have a rich set of features for each variant (e.g. its location, conservation, epigenetics etc.) which could inform how likely the variant is to have a true association. However popular testing approaches, such as Benjamini-Hochberg's procedure (BH) and independent hypothesis weighting (IHW), either ignore these features or assume that the features are categorical or uni-variate. We propose a new algorithm, NeuralFDR, which automatically learns a discovery threshold as a function of all the hypothesis features. We parametrize the discovery threshold as a neural network, which enables flexible handling of multi-dimensional discrete and continuous features as well as efficient end-to-end optimization. We prove that NeuralFDR has strong false discovery rate (FDR) guarantees, and show that it makes substantially more discoveries in synthetic and real datasets. Moreover, we demonstrate that the learned discovery threshold is directly interpretable.

연구 동기 및 목표

• 각 가설과 연관된 풍부한 다차원 특징을 무시하는传통적 다중 검정 절차의 한계를 해결한다.
• 가설 특징에서 발견 임계치로의 비선형 결정 규칙을 학습하는 유연하고 종단간(end-to-end) 방법을 개발한다.
• 독립성 및 약한 의존성 가정 하에 강력한 FDR 통제를 보장하며, 복잡한 연속형 또는 이산형 특징이 존재하더라도 가능하도록 한다.
• 생물학적 또는 도메인 전문 지식의 통찰을 반영할 수 있는 해석 가능한 발견 임계치를 제공한다.
• Benjamini-Hochberg와 IHW와 같은 기존 기법들보다 발견률을 높이면서도 FDR 통제를 유지한다.

제안 방법

• 가설 특징에서 p-값 절단값으로 매핑하는 다층퍼셉트론(MLP)으로 발견 임계치를 매개변수화한다.
• 학습 중에 잘못된 발견 수를 안정적으로 추정하기 위해 미러링 기법(mirroring technique)을 사용하여 FDR 통제를 향상시킨다.
• 가중치 클리핑을 통해 안정성을 확보하면서 경사하강법을 통해 신경망을 종단간 최적화한다.
• 독립성 및 약한 의존성 하에서 FDR 통제가 보장되며, 渐近적 타당성(asymptotic validity)을 이론적으로 입증한다.
• p-값과 특징의 공동 밀도로부터 유도된 최적 임계치의 k-클러스터 기반 근사값을 사용해 네트워크를 초기화한다.
• 모든 가능한 근본 비율 설정에 대해 FDP를 제약하면서 발견 능력을 극대화하는 최소최대 최적화(minimax optimization) 문제로 학습 문제를 설정한다.

실험 결과

연구 질문

• RQ1 신경망은 비선형적이고 특징에 의존적인 발견 임계치를 효과적으로 학습하여, 일정한 임계치 방법에 비해 발견 능력을 향상시킬 수 있는가?
• RQ2 제안된 방법인 NeuralFDR는 연속형 및 다차원 가설 특징이 존재하는 상황에서도 강력한 FDR 통제를 유지하는가?
• RQ3 실재 및 합성 데이터에서 NeuralFDR는 IHW 및 Benjamini-Hochberg와 비교해 발견률과 FDR 통제 측면에서 어떻게 성능을 내는가?
• RQ4 학습된 임계치 함수는 데이터 구조나 생물학적 메커니즘에 대한 통찰을 의미적으로 해석할 수 있는가?
• RQ5 FDR 통제 및 성능에 가장 효과적인 아키텍처 선택(예: MLP의 깊이)과 학습 전략(예: 가중치 클리핑, 미러링)은 무엇인가?

주요 결과

• NeuralFDR는 합성 및 실재 데이터셋에서 BH 및 IHW에 비해 유의미하게 더 많은 발견을 가능하게 하며, 특히 대안 비율이 높을 경우 두드러진 성능 향상을 보인다.
• 이론적으로 입증된 linely, 독립성 하에서는 높은 확률로 강력한 FDR 통제를 유지하고, 약한 의존성 하에서는 渐近적으로 통제함을 보장한다.
• 학습된 발견 임계치는 직접적으로 해석 가능하며, 모델 출력이 특징 공간 내에서 의미 있는 패턴을 드러내며, 예를 들어 보존성 또는 위치가 유의미성에 미치는 영향을 설명할 수 있다.
• 실제로 10층의 MLP가 가장 우수한 성능을 보였고, 얕은 네트워크보다 열등한 결과를 보였으며, 이는 깊이가 복잡한 신호를 포착하는 데 핵심적임을 시사한다.
• 미러링 기법은 학습 중 잘못된 발견 수를 안정적으로 추정할 수 있게 하여 FDR 통제의 안정성에 기여한다.
• 최적의 임계치는 거의 확실히 다음 조건을 만족한다: $ f_{Pf{X}}(1,f{x}) / f_{Pf{X}}(t^*(f{x}),f{x}) = \text{const} $, 이는 학습 과정을 안내하는 데 기여한다.