[논문 리뷰] DeepPINK: reproducible feature selection in deep neural networks

Yang Lu, Yingying Fan외 2명|arXiv (Cornell University)|2018. 09. 04.

Explainable Artificial Intelligence (XAI)인용 수 69

한 줄 요약

DeepPINK은 모델-X knockoffs를 쌍으로 연결된 신경망과 통합하여 DNNs의 특징 선택에서 거짓 발견률(FDR) 제어를 달성하고 시뮬레이션 및 실제 데이터에서 순진한 knockoff-확장 모델보다 더 높은 검출력(power)을 보임을 시현합니다.

ABSTRACT

Deep learning has become increasingly popular in both supervised and unsupervised machine learning thanks to its outstanding empirical performance. However, because of their intrinsic complexity, most deep learning methods are largely treated as black box tools with little interpretability. Even though recent attempts have been made to facilitate the interpretability of deep neural networks (DNNs), existing methods are susceptible to noise and lack of robustness. Therefore, scientists are justifiably cautious about the reproducibility of the discoveries, which is often related to the interpretability of the underlying statistical models. In this paper, we describe a method to increase the interpretability and reproducibility of DNNs by incorporating the idea of feature selection with controlled error rate. By designing a new DNN architecture and integrating it with the recently proposed knockoffs framework, we perform feature selection with a controlled error rate, while maintaining high power. This new method, DeepPINK (Deep feature selection using Paired-Input Nonlinear Knockoffs), is applied to both simulated and real data sets to demonstrate its empirical utility.

연구 동기 및 목표

• 깊은 신경망에서 제어된 특징 선택을 통해 해석가능성과 재현성을 촉진한다.
• 고차원 설정에서 FDR를 제어하기 위해 model-X knockoffs 프레임워크를 활용한다.
• 원래 특징과 그들의 knockoffs 간의 경쟁을 가능하게 하는 DNN 아키텍처를 개발하여 검출력을 향상시킨다.
• 시뮬레이션 데이터와 실제 데이터(HIV-1 돌연변이, 장 내 마이크로바이오ーム)에서 실용성을 입증한다.

제안 방법

• 각 입력 특징이 그에 대응하는 knockoff와 짝지어지는 DNN의 쌍으로 연결된 계층을 도입한다.
• 필터 가중치와 후속 MLP 계층 가중치를 사용하여 특징 중요도 지표 Z_j와 Ẑ_j를 정의한다.
• knockoff 통계량 W_j = Z_j^2 - Ẑ_j^2를 계산하고 FDR 제어를 위한 knockoff 임계 규칙 T 또는 T+를 적용한다.
• L1 정규화와 Adam 최적화를 사용하여 두 개의 은닉층을 갖는 MLP로 네트워크를 학습한다.
• 가우시안 설계하에서 knockoffs를 구성하고 필요한 경우 정밀도 행렬을 추정한다(확장성을 위한 ISEE).
• 시뮬레이션에서 기저선(MLP, DeepLIFT, RF, SVR)과 비교하여 경험적 FDR과 검출력을 평가한다.

실험 결과

연구 질문

• RQ1 DeepPINK가 DNN의 특징 선택에서 높은 검출력을 유지하면서도 유한 표본 FDR 제어를 달성할 수 있는가?
• RQ2 쌍대-노크오프 계층을 통합하는 것이 DNN에 naïve knockoff를 투입하는 것보다 특징 선택 성능을 향상시키는가?
• RQ3 선형 및 비선형 데이터 생성 과정(선형 모델 및 Single-Index 모델)에서 다양한 차원에서 DeepPINK의 성능은 어떠한가?
• RQ4 실제 생물학적 데이터(HIV-1 돌연변이, 장 내 미생물군)에서 제어된 FDR 하에 알려진 관련 특징을 식별하는가?

주요 결과

• DeepPINK은 시뮬레이션에서 목표 수준 q=0.2 아래의 FDR를 일관되게 제어한다.
• 대부분의 설정에서 시뮬레이션에서(MLP, DeepLIFT, RF, SVR 대비) 더 높은 검출력을 달성한다.
• 쌍대-연결층과 X_j 및 Ẋ_j 간의 경쟁이 naïve knockoff-augmented 네트워크에 비해 검출력을 크게 향상시킨다.
• 실데이터 응용에서 DeepPINK은 돌연변이 및 미생물군 특성을 기존 문헌의 지지를 받으며 식별하며, FDR 제어와 발견 측면에서 Knockoff 및 BHq를 능가하거나 일치하는 경우가 많다.
• 이 접근법은 기저의 데이터 생성 과정에 대한 강한 모델 가정 없이도 작동하며, MLP를 넘는 다른 네트워크 아키텍처에도 적용 가능하다.