[논문 리뷰] Dropout Feature Ranking for Deep Learning Models

Chun‐Hao Chang, Ladislav Rampášek외 1명|arXiv (Cornell University)|2017. 12. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 35

한 줄 요약

이 논문은 딥 뉴럴 네트워크의 입력층에 변동형 드롭아웃을 적용하여 특성 중요도를 순위 매기는 새로운 방법인 드롭아웃 특성 랭킹(Dropout FR)을 제안한다. 특성별 드롭아웃 비율을 최적화함으로써 다양한 데이터셋에서 특성 선택 및 해석 능력을 향상시키며, 피드포워드 및 순환 네트워크 모두에서 기존의 고전적 및 딥러닝 기반 기준보다 뛰어난 성능을 보이며, 약물 반응 예측에서 생물학적으로 관련성이 있는 특성을 특히 잘 식별한다.

ABSTRACT

Deep neural networks (DNNs) achieve state-of-the-art results in a variety of domains. Unfortunately, DNNs are notorious for their non-interpretability, and thus limit their applicability in hypothesis-driven domains such as biology and healthcare. Moreover, in the resource-constraint setting, it is critical to design tests relying on fewer more informative features leading to high accuracy performance within reasonable budget. We aim to close this gap by proposing a new general feature ranking method for deep learning. We show that our simple yet effective method performs on par or compares favorably to eight strawman, classical and deep-learning feature ranking methods in two simulations and five very different datasets on tasks ranging from classification to regression, in both static and time series scenarios. We also illustrate the use of our method on a drug response dataset and show that it identifies genes relevant to the drug-response.

연구 동기 및 목표

• 생물학 및 의료와 같은 가설 기반 도메인에서 딥 뉴럴 네트워크(DNN)의 해석성 부족 문제를 해결하기 위해.
• 피드포워드 및 순환 네트워크를 포함한 다양한 딥러닝 아키텍처에 일반적으로 적용 가능한 특성 랭킹 방법을 개발하기 위해.
• 자원 제약 조건 하에서 가장 정보가 많은 특성을 식별하여 최소한의 데이터 수집으로 효율적인 실험 설계를 가능하게 하기 위해.
• 비선형 상호작용과 상관관계가 있는 특성을 포괄하는 데 기존 방법들인 LASSO, 엘라스틱넷, 랜덤 포레스트보다 향상된 성능을 내기 위해.
• 실제 생물학적 및 임상 데이터셋, 특히 약물 반응 예측에서의 효과를 입증하기 위해.

제안 방법

• 딥 뉴럴 네트워크의 입력층에 변동형 드롭아웃을 적용하여 각 입력 특성이 가질 수 있는 학습 가능한 드롭아웃 비율로 간주한다.
• 학습 중 특성별 드롭아웃 비율을 최적화하여 특성 중요도를 평가하며, 높은 드롭아웃 비율은 낮은 특성 관련성임을 의미한다.
• 전방 전파 중 입력 특성의 확률적 마스킹을 적용하여 특성 백킹을 시뮬레이션하고 특성 상관관계에 대한 강건성을 향상시킨다.
• 완전 연결 네트워크, RNN, 변동형 오토에인드코더(VAE) 등 다양한 딥러닝 아키텍처에 이 방법을 통합한다.
• 학습된 드롭아웃 비율 기반으로 특성을 랭킹하며, 중요도가 낮은 특성은 더 자주 제거된다.
• 드롭아웃의 베이지안 해석을 활용하여 특성 중요도 학습 중에 불확실성 추정과 정규화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 상호작용과 상관관계가 있는 특성들이 존재하는 환경에서 입력층에 적용된 변동형 드롭아웃이 딥러닝 모델의 특성 랭킹에 효과적으로 기여할 수 있는가?
• RQ2 드롭아웃 FR은 LASSO, 엘라스틱넷과 같은 고전적 방법들과 Deep FS와 같은 딥러닝 기반 기준보다 특성 선택 성능에서 어떻게 비교되는가?
• RQ3 이 방법은 피드포워드 네트워크, RNN, VAE와 같은 반감독 모델을 포함한 다양한 딥러닝 아키텍처로 일반화 가능한가?
• RQ4 이 방법은 실제로 유전자와 약물 반응 관련된 특성을 식별할 수 있는가?
• RQ5 정보가 적은 데이터 환경이나 자원 제약 조건에서, 가장 적은 수의 정보가 많은 특성을 선택하는 데서 이 방법의 성능은 어떠한가?

주요 결과

• MiniBooNE 데이터셋에서 상위 5개 특성 순위 매기기와 YearPredictionMSD 데이터셋에서 상위 20개 특성 순위 매기기에서 드롭아웃 FR은 AUPR 및 AUROC에서 통계적으로 유의미한 향상을 보이며 모든 기준보다 뛰어났다.
• PhysioNet 시계열 데이터셋에서 드롭아웃 FR은 단일 특성만 사용할 경우 랜덤 포레스트조차도 능가했으며, 가장 예측력이 높은 단일 특성을 식별하는 데서의 우수성을 입증했다.
• VAE를 사용한 약물 반응 예측 작업에서 드롭아웃 FR은 FOSL1과 TRAM2와 같은 기존에 알려진 생물학적으로 관련성이 있는 유전자를 강력한 통계적 유의성(p < 1e-7)으로 식별했다.
• RNN 기반의 PhysioNet 모델에서 드롭아웃 FR은 AUPR 0.448 ± 0.063과 AUROC 0.808 ± 0.026를 기록하여 이 설정에서 모든 다른 방법보다 뛰어난 성능을 보였다.
• 드롭아웃 FR은 LASSO와 Deep FS가 상관관계가 있는 특성 그룹에서 하나만 선택하는 경향이 있는 것과 달리 특성 상관관계에 대해 강건함을 보였다.
• 시뮬레이션 연구에서 드롭아웃 FR은 중요한 특성 간의 이차 상호작용을 정확히 포착했으며, 마진별 순위 매기기와 LASSO와 같은 방법들은 상호작용하는 특성을 정확히 순위 매기지 못했다.