[논문 리뷰] Incorporating Prior Knowledge in Deep Learning Models via Pathway Activity Autoencoders

Pedro Avelar, Min Wu외 1명|arXiv (Cornell University)|2023. 06. 09.

RNA and protein synthesis mechanismsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 RNA-seq 데이터를 위한 깊이 학습 오토인코더에 생물학적 경로 지식을 통합하여 해석 가능성과 암 예후 예측 성능을 향상시키는 경로 활동 오토인코더(PAAE)와 그 생성적 변종인 PAVAE를 제안한다. 알려진 경로를 사용해 잠재 공간을 제약함으로써, 더 적은 입력 특징 수로도 표준 오토인코더와 VAE보다 뛰어난 재구성 및 분류 정확도를 달성하며, 학습된 표현의 직접적인 생물학적 해석이 가능하다.

ABSTRACT

Motivation: Despite advances in the computational analysis of high-throughput molecular profiling assays (e.g. transcriptomics), a dichotomy exists between methods that are simple and interpretable, and ones that are complex but with lower degree of interpretability. Furthermore, very few methods deal with trying to translate interpretability in biologically relevant terms, such as known pathway cascades. Biological pathways reflecting signalling events or metabolic conversions are Small improvements or modifications of existing algorithms will generally not be suitable, unless novel biological results have been predicted and verified. Determining which pathways are implicated in disease and incorporating such pathway data as prior knowledge may enhance predictive modelling and personalised strategies for diagnosis, treatment and prevention of disease. Results: We propose a novel prior-knowledge-based deep auto-encoding framework, PAAE, together with its accompanying generative variant, PAVAE, for RNA-seq data in cancer. Through comprehensive comparisons among various learning models, we show that, despite having access to a smaller set of features, our PAAE and PAVAE models achieve better out-of-set reconstruction results compared to common methodologies. Furthermore, we compare our model with equivalent baselines on a classification task and show that they achieve better results than models which have access to the full input gene set. Another result is that using vanilla variational frameworks might negatively impact both reconstruction outputs as well as classification performance. Finally, our work directly contributes by providing comprehensive interpretability analyses on our models on top of improving prognostication for translational medicine.

연구 동기 및 목표

• 고통역 옹모믹스 데이터를 위한 딥러닝 모델의 해석 가능성 부족 문제를 생물학적으로 의미 있는 사전 지식을 통합함으로써 해결하고자 한다.
• 잠재 표현을 생물학적 용어로 직접 해석할 수 있는 경로 기반 오토인코더를 사용하여 암에서의 환자 분류 및 생존 예측을 향상시키고자 한다.
• 경로 정보를 구조적 인덕티브 바이어스로 사용할 경우, 표준 오토인코더와 VAE에 비해 재구성 및 분류 성능이 향상되는지 평가하고자 한다.
• 경로 활동 기반 표현이 TCGA 및 METABRIC와 같은 독립된 데이터셋 간에 일관되며, 분류 및 생존 분석과 같은 후속 작업에 유용한지 확인하고자 한다.
• 임상의사 및 연구자가 모델 출력을 알려진 생물학적 경로를 통해 해석할 수 있도록 하는 프레임워크를 제공하고자 한다. 이는 번역 의학을 지원한다.

제안 방법

• 알려진 생물학적 경로를 구조적 인덕티브 바이어스로 사용하여 잠재 공간을 제약하는 비생성적 오토인코더 프레임워크인 PAAE를 제안한다.
• 경로 활동 벡터를 정의하여, 사전 정의된 경로의 활성 수준을 샘플 간에 계산한다. 이를 위해 유전자 세트 부등성 점수를 사용한다.
• 입력 유전자 발현 데이터를 재구성하기 위해 오직 경로 활동 벡터만을 잠재 표현으로 사용함으로써 생물학적 해석 가능성을 강제한다.
• PAAE를 생성적 변종인 PAVAE로 확장하여, 학습된 잠재 공간에서 샘플링이 가능하게 하고, 더 높은 강건성을 확보한다.
• PAVAE에서 재구성 기법을 사용하여 경로 활동 샘플링 과정을 통해 역전파가 가능하게 하여 엔드 투 엔드 학습을 가능하게 한다.
• UMAP 및 코사인 거리 시각화를 통해 학습된 경로 활동 공간의 위상 구조를 분석하고, 클래스 간 분리 가능성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 기존 알려진 생물학적 경로를 인덕티브 바이어스로 통합할 경우, RNA-seq 데이터에 대한 오토인코더의 재구성 성능이 향상되는가?
• RQ2 경로 활동 기반의 잠재 표현을 사용할 경우, 전체 유전자 집합을 사용하는 모델보다 분류 성능이 향상되는가?
• RQ3 PAAE와 PAVAE의 재구성 및 분류 정확도는 표준 오토인코더와 VAE에 비해 어떻게 비교되는가?
• RQ4 학습 세트와 테스트 세트 간에 학습된 경로 활동이 어느 정도 일관되게 유지되는가?
• RQ5 학습된 모델의 잠재 공간이 암 아형과 관련된 알려진 생물학적 경로 측면에서 의미 있게 해석될 수 있는가?

주요 결과

• PAAE와 PAVAE는 전체 유전자 집합 대신 경로 활동 특징만을 사용함에도 불구하고, 표준 오토인코더와 VAE보다 더 뛰어난 외부 재구성 성능를 달성한다.
• 기본 모델에 비해 전체 입력 유전자에 접근할 수 있는 경우에도 분류 작업에서 성능이 뛰어나, 표현 학습에서 사전 지식의 가치를 입증한다.
• 기본 VAE는 재구성 및 분류 성능 모두에서 PAAE와 PAVAE보다 열 劣하므로, 표준 변량 프레임워크는 경로 기반 학습에 최적화되어 있지 않을 수 있음을 시사한다.
• 학습 세트에서 질병 아형과 상호정보가 가장 높은 32개 경로는 테스트 세트에서도 가장 정보가 많은 경로로 나타나, 데이터셋 간 일관되고 강건한 특징 학습이 이루어졌음을 나타낸다.
• UMAP 및 특징 맵을 사용한 경로 활동 공간의 시각화 결과, 임상적 표현형(예: BRCA 아형)에 따라 명확한 클러스터링이 관찰되어 학습된 표현의 생물학적 관련성을 확인한다.
• 해석 가능성 분석 결과, P53 신호전달, 이형성 복구, 발린-레우신-이소류신 분해 경로와 같은 특정 경로가 암 분류 맥락에서 매우 구분력 있고 생물학적으로 타당한 것으로 나타났다.