[논문 리뷰] DeepCoDA: personalized interpretability for compositional health data

Thomas P. Quinn, Dang Nguyen외 3명|arXiv (Cornell University)|2020. 06. 02.

Biomedical Text Mining and Ontologies참고 문헌 26인용 수 6

한 줄 요약

DeepCoDA는 복합적 건강 데이터(예: 고스루풋 시퀀싱에서 흔한 데이터)에 대해 개인화된 해석 가능성을 가능하게 하는 딥러닝 프레임워크로, 해석 가능한 로그-대비 변환과 환자별 가중치를 학습하기 위해 로그-버티지 모듈을 사용한다. 데이터 정규화 가정 없이 25개의 실세계 데이터셋에서 최고 성능을 달성하며, 생물학적으로 일관된 해석을 보장한다.

ABSTRACT

Interpretability allows the domain-expert to directly evaluate the model's relevance and reliability, a practice that offers assurance and builds trust. In the healthcare setting, interpretable models should implicate relevant biological mechanisms independent of technical factors like data pre-processing. We define personalized interpretability as a measure of sample-specific feature attribution, and view it as a minimum requirement for a precision health model to justify its conclusions. Some health data, especially those generated by high-throughput sequencing experiments, have nuances that compromise precision health models and their interpretation. These data are compositional, meaning that each feature is conditionally dependent on all other features. We propose the Deep Compositional Data Analysis (DeepCoDA) framework to extend precision health modelling to high-dimensional compositional data, and to provide personalized interpretability through patient-specific weights. Our architecture maintains state-of-the-art performance across 25 real-world data sets, all while producing interpretations that are both personalized and fully coherent for compositional data.

연구 동기 및 목표

• 마이크로바이옴 또는 대사물질 프로파일과 같은 복합적 데이터에 대해 정밀의료 모델의 개인화된 해석 가능성 부족 문제를 해결한다.
• 특성들이 상대적 비율이며 조건부로 종속되어 있는 복합적 데이터에서 발생하는 통계적 및 해석적 과제를 극복한다.
• 높은 예측 성능를 유지하면서도 샘플별 기능 기여도를 가능하게 하는 신경망 아키텍처를 개발한다.
• 해석 결과가 데이터 사전 처리 또는 정규화 가정에 영향을 받지 않도록 보장한다.
• 두 수준의 해석 가능성 프레임워크 도입: (1) 예측을 위한 환자별 가중치, (2) 기능 수준의 통찰을 위한 로그-대비 기여도

제안 방법

• 기울기 하강을 통해 엔드 투 엔드로 B개의 로그-대비 변환을 학습하는 로그-버티지 모듈을 제안하며, 각 로그-대비는 로그 변환된 특성들의 선형 조합이며 가중치 합이 0이 된다.
• 자기 설명 모델을 통해 선형 모델 $ y = \theta(\mathbf{x})^\top \mathbf{x} $ 를 사용하며, $ \theta(\mathbf{x}) $ 는 해석 가능성의 위해 환자별 가중치이다.
• 자기 설명 가중치에 L1 정규화를 적용하여 희박성과 해석 가능성 향상을 유도하며, 동시에 학습된 로그-대비 표현을 통해 비선형 상호작용을 허용한다.
• 입력 특성을 로그 비율(로그-대비)로 변환하여 복합적 데이터의 구조를 처리하고, 임의의 정규화를 피한다.
• 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련하며, 로그-버티지가 정의된 또는 사용자 지정된 변환에 의존하지 않고 데이터로부터 최적의 대비를 학습한다.
• 환자별 가중치와 로그-대비 값 간의 상관관계를 분석하여 모델 행동의 사후 분석을 가능하게 하여 고차원 상호작용(예: $ w_i \propto z_j $)을 탐지한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 데이터 정규화나 사전 처리 가정 없이 복합적 건강 데이터에 대해 개인화된 해석 가능성을 달성할 수 있는가?
• RQ2 신경망 내부에서 로그-대비 변환을 자동으로 학습하여 복합적 데이터의 해석 가능성과 일관성을 유지할 수 있는가?
• RQ3 자기 설명 모델의 환자별 가중치가 고차원 복합적 데이터에서 생물학적으로 의미 있는 패턴을 어느 정도 드러낼 수 있는가?
• RQ4 모델의 내부 구조(예: 로그-대비 가중치)를 활용해 단순 덧셈 효과를 넘어서는 고차원 생물학적 상호작용을 추론할 수 있는가?
• RQ5 프레임워크는 다양한 실세계 복합적 데이터셋에서 강력한 예측 성능를 유지하면서도 투명하고 샘플 수준의 해석을 가능하게 하는가?

주요 결과

• DeepCoDA는 마이크로바이옴 및 대사물질 연구를 포함한 25개의 실세계 복합적 데이터셋에서 초당 성능를 달성했으며, 하이퍼파rameter 튜닝이 필요하지 않았다.
• 모델의 자기 설명 모듈은 직접적인 해석 가능한 기능 기여도를 가능하게 하는 환자별 가중치를 생성했으며, 제품 점수 $ w_i z_i $ 는 예측에 가장 기여한 특성들을 명확히 드러냈다.
• 로그-버티지 모듈은 생물학적으로 의미 있는 로그-대비를 성공적으로 학습했으며, 일부 로그-대비는 153개 특성 중 최대 144개를 포함했지만 기여도 분포는 비균일하여 상위 기여자들로 요약 가능했다.
• 사후 분석을 통해 고차원 상호작용이 드러났으며, 예를 들어 로그-대비 5의 중요도는 로그-대비 3의 값에 따라 달라졌고, 이는 로그-multiplicative 상호작용 $ w_5 \propto z_3 $ 를 의미하며, 최종 예측에서 $ w_5 z_5 \approx z_3 z_5 $ 로 해석된다.
• 프레임워크는 두 수준의 해석 가능성을 제공했다: (1) 예측을 위한 환자 수준의 가중치, (2) 각 대비에 기여한 특성들을 보여주는 로그-대비 수준의 가중치로, 임상의가 생물학적 기제를 추적할 수 있도록 했다.
• 모델의 해석 가능성은 데이터 구조에 대해 강건했으며, 정규화 가정을 피하고 학습된 로그-대비를 사용함으로써 복합 공간 내에서 해석이 일관되고 의미 있는 상태를 유지했다.