[논문 리뷰] Discovering Conditionally Salient Features with Statistical Guarantees

Jaime Roquero Gimenez, James Zou|arXiv (Cornell University)|2019. 05. 29.

Gene expression and cancer classification참고 문헌 22인용 수 6

한 줄 요약

이 논문은 특징 공간의 특정 하위영역에서 관련성이 있는 특징을 식별하면서 국소적 가짜 발견률(FDR)에 대한 통계적 통제를 유지하는 조건부 특징 선택 방법을 제안한다. 데이터 기반의 모델 프리 접근 방식을 활용하고 중요도 점수의 국소적 스왑 불변성(_swap invariance_)을 보장함으로써, 조건부에 따라 특징 값을 기반으로 하더라도 통계적 보장을 유지하면서도 FDR 통제가 유효하게 유지된다.

ABSTRACT

The goal of feature selection is to identify important features that are relevant to explain an outcome variable. Most of the work in this domain has focused on identifying globally relevant features, which are features that are related to the outcome using evidence across the entire dataset. We study a more fine-grained statistical problem: conditional feature selection, where a feature may be relevant depending on the values of the other features. For example in genetic association studies, variant $A$ could be associated with the phenotype in the entire dataset, but conditioned on variant $B$ being present it might be independent of the phenotype. In this sense, variant $A$ is globally relevant, but conditioned on $B$ it is no longer locally relevant in that region of the feature space. We present a generalization of the knockoff procedure that performs conditional feature selection while controlling a generalization of the false discovery rate (FDR) to the conditional setting. By exploiting the feature/response model-free framework of the knockoffs, the quality of the statistical FDR guarantee is not degraded even when we perform conditional feature selections. We implement this method and present an algorithm that automatically partitions the feature space such that it enhances the differences between selected sets in different regions, and validate the statistical theoretical results with experiments.

연구 동기 및 목표

• 특징 공간 내 특정 조건에서만 관련성이 있는 특징을 식별하는 데에 한계가 있는 전역적 특징 선택의 문제를 해결하기 위해.
• 국소 영역에서 엄격한 가짜 발현률(FDR) 통제를 유지하는 조건부 특징 선택을 위한 통계적 프레임워크를 개발하기 위해.
• 데이터 서브샘플링과 모델 기반 조건부 설정의 단점을 극복하기 위해, 이는 통계적 타당성과 검정력의 열화를 초래하기 때문이다.
• 기존 메서드의 모델 프리 성격과 통계적 보장을 유지하면서 컨드로프 절차를 국소 설정으로 확장하기 위해.
• 유전체학 및 기타 고차원 설정에서 생물학적 경로가 사전 유전적 변이에 의존하는 바이오메트릭스 환경에서 조건부로 중요한 특징을 식별할 수 있도록 하기 위해.

제안 방법

• 특징 공간의 하위영역에서 국소적 영향을 갖는 특징과 국소적 FDR을 정의함으로써 컨드로프 프레임워크를 조건부 특징 선택으로 확장한다.
• 특징 값에 국소적으로 민감한 중요도 점수의 스왑 불변성 구조를 활용하여, 조건부에 따른 통계적 타당성을 보장한다.
• 독립 동일분포(i.i.d.) 표본에서 유도된 경험적 측도 $\hat{\mu}_n$ 를 사용하여 특징과 반응의 공동분포를 추정함으로써 데이터 기반 중요도 점수를 가능하게 한다.
• 중요도 점수에 $r$-국소성 조건을 도입하여 스왑 작동이 FDR 통제에 필요한 분포 대칭성을 유지하도록 보장한다.
• 중요도 점수의 스왑 불변성에서 유도된 기울기 반전 성질(flip-sign property)을 활용하여 각 국소 영역에 대해 적응형 임계값 $\tau^l$ 을 구성한다.
• 특징의 중요도가 다를 수 있는 별개의 국소 영역을 식별하기 위해 분할 전략을 적용함으로써 각 하위영역에서 탐지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 조건부 특징 선택 설정에서 국소적 영향을 갖는 특징과 국소적 FDR의 의미 있는 정의를 내릴 수 있는가?
• RQ2 컨드로프 프레임워크가 국소적, 영역별 특징 선택에 적용될 때도 FDR 통제 보장을 유지하는가?
• RQ3 강한 파라미터 가정이나 데이터 서브샘플링에 의존하지 않고도 조건부 특징 선택에서 통계적 타당성을 확보할 수 있는가?
• RQ4 국소적 특징 값에 민감한 중요도 점수를 구성할 수 있는가 동시에 FDR 통제에 필요한 대칭성을 유지할 수 있는가?
• RQ5 특징 공간의 국소적 분할 전략이 조건부 특징 탐지의 검정력과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 특징 공간의 특정 영역에 조건을 두더라도 유효한 국소적 FDR 통제를 달성하며, 원래 컨드로프 절차의 통계적 보장을 약화시키지 않는다.
• 특징 분포 $P^\boldsymbol{X}$ 를 전체 데이터셋을 활용해 모델링함으로써, 전역 컨드로프 선택과 동일한 수준의 FDR 통제를 유지한다.
• 이론적 분석을 통해 중요도 점수의 $r$-국소성 조건 하에서 스왑 불변성 성질이 유지됨을 보여주며, 이는 보장된 FDR 통제를 갖는 적응형 임계값 구축을 가능하게 한다.
• 이 방법은 특정 유전적 변이가 존재할 경우에만 질병 위험에 영향을 주는 SNPs와 같은 조건부로 중요한 특징을 탐지할 수 있게 하여 생물학적으로 의미 있는 상호작용를 드러낸다.
• 실험적 검증을 통해 알고리즘이 전역 특징 선택에서 놓칠 수 있는 국소적 특징을 탐지하는 데에 검정력을 향상시킴을 확인하였다. 특히 유전체학적 맥락에서 두드러진다.
• 데이터 서브샘플링의 단점인 표본 크기 감소와 타당하지 않은 p-값 가정을 피하면서도 여전히 영역별 추론을 가능하게 한다.