[논문 리뷰] Locally Sparse Neural Networks for Tabular Biomedical Data

Junchen Yang, Ofir Lindenbaum외 1명|arXiv (Cornell University)|2021. 06. 11.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 표본별 특성 중요도를 학습하는 가속화 가능한 게이팅 네트워크를 통해 국소적 희소성(Locally Sparse)을 구현하는 새로운 해석 가능한 딥러닝 프레임워크인 LSPIN(Locally Sparse Interpretable Neural Networks)을 제안한다. 확률적 ℓ₀-유사 정규화를 통해 국소적 희소성을 강제함으로써, 특히 저표본, 고차원 생물의학 데이터 환경에서 최신 기술 대비 뛰어난 성능과 해석 가능성 달성을 이룬다.

ABSTRACT

Tabular datasets with low-sample-size or many variables are prevalent in biomedicine. Practitioners in this domain prefer linear or tree-based models over neural networks since the latter are harder to interpret and tend to overfit when applied to tabular datasets. To address these neural networks' shortcomings, we propose an intrinsically interpretable network for heterogeneous biomedical data. We design a locally sparse neural network where the local sparsity is learned to identify the subset of most relevant features for each sample. This sample-specific sparsity is predicted via a extit{gating} network, which is trained in tandem with the extit{prediction} network. By forcing the model to select a subset of the most informative features for each sample, we reduce model overfitting in low-sample-size data and obtain an interpretable model. We demonstrate that our method outperforms state-of-the-art models when applied to synthetic or real-world biomedical datasets using extensive experiments. Furthermore, the proposed framework dramatically outperforms existing schemes when evaluating its interpretability capabilities. Finally, we demonstrate the applicability of our model to two important biomedical tasks: survival analysis and marker gene identification.

연구 동기 및 목표

• 저표본, 고차원 표본 생물의학 데이터에 적용할 때 딥 뉴럴 네트워크의 과적합 및 낮은 해석 가능성 문제를 해결한다.
• 이질적인 생물의학 데이터셋에서 표본별 특성의 관련성을 포착하지 못하는 전역 특성 선택 방법의 한계를 극복한다.
• 특성 선택과 예측을 동시에 학습하는 엔드 투 엔드 학습을 가능하게 하며, 후행 해석 방법에 의존하지 않는 내재적 해석 가능한 신경망 프레임워크를 개발한다.
• 국소적 희소성과 선형 예측자 조합이 실제 생물의학 데이터셋에서 복잡한 비선형 모델보다 뛰어난 성능을 낼 수 있음을 입증한다.
• 생존 분석 및 마커 유전자 식별과 같은 중요한 생물의학 과제에 프레임워크를 확장하여, 표준 분류 및 회귀를 넘어서 실용적 유용성을 입증한다.

제안 방법

• 표본별 특성 중요도를 학습하는 국소적 희소성 해석 가능한 네트워크(LSPIN)를 도입하며, 예측 네트워크와 게이팅 네트워크를 결합한다.
• 재파arameterization(가우스 노이즈)를 통한 확률적 ℓ₀-유사 정규화를 사용하여 안정적인 국소적 희소성을 유도하며, 각 표본이 오직 일부 특성만 활성화하도록 한다.
• 예측 네트워크와 게이팅 네트워크를 함께 최적화하기 위해 공유된 회귀 또는 분류 손실을 최소화함으로써, 특성 선택과 예측의 엔드 투 엔드 학습을 가능하게 한다.
• 유사한 표본이 유사한 희소성 패턴을 가지도록 보장하기 위해 친화도 커널(affinity kernel)을 적용함으로써 일반화 및 안정성 향상을 도모한다.
• 다양형 게이팅 메커니즘과 콘크리트 리파라미터라이제이션(Concrete relaxation)을 사용하여 희소 선택 과정을 미분 가능하게 하여 기울기 기반 최적화를 가능하게 한다.
• 생존 분석(Cox 비례 위험 모델 기반) 및 마커 유전자 식별 과제에 프레임워크를 통합함으로써 해석 가능성과 성능를 유지한다.

실험 결과

연구 질문

• RQ1 표본별 특성 선택 기능을 갖춘 딥 뉴럴 네트워크가 저표본, 고차원 생물의학 표본 데이터에서 표준 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 표본별로 다른 특성이 선택되는 국소적 희소성은 전역 특성 선택 대비 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 국소적 희소성 신경망이 최신 비선형 모델보다 뛰어난 예측 성능를 달성하면서도 내재적 해석 가능성을 유지할 수 있는가?
• RQ4 LSPIN 프레임워크는 생존 분석 및 마커 유전자 식별과 같은 실제 생물의학 적용에서 어떻게 성능를 발휘하는가?
• RQ5 모델의 해석 가능성은 블랙박스 모델이나 전역 특성 선택 대비 생물학적 의미 있는 통찰을 제공하는 데 얼마나 기여하는가?

주요 결과

• LSPIN은 합성 및 실제 생물의학 데이터셋 모두에서 최신 기술 모델(DeepSurv, TabNet, L2X, INVASE)을 능가하며, 특히 저표본 크기 환경에서 뛰어난 성능를 보였다.
• 실제 데이터셋에서의 생존 분석 결과, COX-LSPIN은 10겹 교차검증에서 중앙순위 일치지수(concordance index)가 평균 0.78를 기록하여 랜덤 생존 숲과 COX-LASSO를 상당히 앞섰다.
• 모델은 평균적으로 표본당 10~15%의 특성만 선택하지만도 높은 예측 정확도를 유지하며, 효과적인 국소적 희소성의 성능를 입증했다.
• 단일세포 RNA-seq 데이터셋에서 LSPIN은 각 세포 유형에서 알려진 마커 유전자(예: ITGAM 및 PDGFRA)를 정확히 상위 기여 특성으로 식별하여 생물학적 해석 가능성의 타당성을 검증했다.
• 비선형성이 없는 선형 LSPIN 모델조차도 DeepSurv 및 COX-STG(Nonlinear)와 같은 비선형 모델을 능가했으며, 이는 HDLSS 환경에서 국소적 희소성의 강력한 효과를 시사한다.
• 게이팅 네트워크는 표본별로 생물학적으로 관련 있는 특성을 성공적으로 식별하였으며, 친화도 커널 정규화 덕분에 유사한 표본 간에 예측이 안정적이었다.