[논문 리뷰] Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning

Tianle Ma, Aidong Zhang|arXiv (Cornell University)|2019. 06. 03.

Bioinformatics and Genomic Networks참고 문헌 19인용 수 11

한 줄 요약

이 논문은 인과적 깊이 학습 모델인 인과 그래프 신경망(FGNN)을 제안한다. 이 모델은 인과 그래프를 사용해 유전자 온톨로지(Gene Ontology) 지식을 아키텍처에 통합함으로써 투명하고 생물학적으로 의미 있는 표현을 가능하게 한다. 스위치드 디pth를 활용한 모델 전개와 다중 척도 상호작용을 위한 어텐션 메커니즘을 통합함으로써, FGNN는 암 유전체 데이터셋에서 최고 수준의 성능을 달성하면서 임상 결과와 연관된 핵심 유전자 온톨로지 용어를 식별할 수 있다.

ABSTRACT

While deep learning has achieved great success in many fields, one common criticism about deep learning is its lack of interpretability. In most cases, the hidden units in a deep neural network do not have a clear semantic meaning or correspond to any physical entities. However, model interpretability and explainability are crucial in many biomedical applications. To address this challenge, we developed the Factor Graph Neural Network model that is interpretable and predictable by combining probabilistic graphical models with deep learning. We directly encode biological knowledge such as Gene Ontology as a factor graph into the model architecture, making the model transparent and interpretable. Furthermore, we devised an attention mechanism that can capture multi-scale hierarchical interactions among biological entities such as genes and Gene Ontology terms. With parameter sharing mechanism, the unrolled Factor Graph Neural Network model can be trained with stochastic depth and generalize well. We applied our model to two cancer genomic datasets to predict target clinical variables and achieved better results than other traditional machine learning and deep learning models. Our model can also be used for gene set enrichment analysis and selecting Gene Ontology terms that are important to target clinical variables.

연구 동기 및 목표

• 의료 응용 분야에서 딥러닝 모델의 해석성 부족 문제를 해결하기 위해, 은닉 유닛이 의미론적 의미를 갖지 못하는 문제를 해결하고자 한다.
• '큰 p, 작은 n' 문제에서 생물학적 지식을 인덕티브 바이어스로 통합함으로써 모델의 일반화 능력을 향상시키고자 한다.
• 도메인 전문 지식을 직접 모델 아키텍처에 통합함으로써 표현력이 뛰어나면서도 해석 가능한 딥러닝 프레임워크를 개발하고자 한다.
• 학습 가능한 어텐션 가중치와 분류기 가중치를 통해 임상 변수와 연관된 생물학적으로 관련성이 있는 유전자 온톨로지 용어를 식별할 수 있도록 하고자 한다.

제안 방법

• 모델은 생물학적 지식을 표현하기 위해 인과 그래프 아키텍처를 사용하며, 노드는 유전자 또는 유전자 온톨로지(GO) 용어를 나타내고, 간선은 생물학적 관계를 나타낸다.
• FGNN는 공유 가중치를 갖는 다층 피드포워드 아키텍처로 전개되어 스위치드 디pth를 통해 훈련이 가능해지고 일반화 성능이 향상된다.
• 다양한 척도의 상호작용을 포괄하기 위해 어텐션 메커니즘이 도입되어, 모델이 관련된 생물학적 경로에 집중할 수 있도록 한다.
• 층 간의 파라미터 공유로 모델 복잡도를 감소시키면서도 표현력을 유지함으로써, 제한된 데이터로도 훈련이 가능해진다.
• 최종 레이어는 선형 분류기이며, 이 가중치는 예측력이 높은 GO 용어를 식별하는 데 사용되어 해석 가능성과 유전자 집합 부여 분석을 가능하게 한다.
• 모델은 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 인과 그래프 아키텍처가 표현 학습을 이끄는 인덕티브 바이어스로 기능한다.

실험 결과

연구 질문

• RQ1 유전자 온톨로지를 구조적 인덕티브 바이어스로 통합함으로써, 유전체 분야의 딥러닝 모델에서 해석성과 성능을 향상시킬 수 있는가?
• RQ2 FGNN의 어텐션 메커니즘이 다중 척도적으로 유전자와 GO 용어 간의 계층적 관계를 어떻게 포착하는가?
• RQ3 FGNN이 전통적 및 딥러닝 기반 베이스라인에 비해 유전체 데이터로부터 임상 변수를 예측하는 데서 얼마나 뛰어난 성능을 보이는가?
• RQ4 최종 분류기의 학습된 가중치가 질병 상태와 관련된 생물학적으로 의미 있는 GO 용어를 식별할 수 있는가?
• RQ5 GO 구조를 무작위화하면 모델 성능이 떨어지는가? 이를 통해 생물학적 지식이 모델 아키텍처에서 중요한 역할을 하는지 검증할 수 있는가?

주요 결과

• FGNN는 폐암 및 신장암 데이터셋에서 각각 0.566과 0.563의 최고 F1 스코어를 기록하여 랜덤 포레스트, MLP, GCN, 프로토타입 네트워크를 모두 능가했다.
• GO 기반 인과 그래프 구조를 무작위화하면 F1 스코어가 폐암의 경우 0.539로, 신장암의 경우 0.532로 감소하여 생물학적 지식이 성능 향상에 필수적임을 입증했다.
• 신장암 데이터셋에서 FGNN와 MLP는 종양 대 정상 샘플 분류 시 98%의 정확도를 달성했지만, 해석 가능한 특성 중요도를 제공한 것은 오직 FGNN 뿐이었다.
• 훈련 후, GO 용어의 소수의 일부(예: GO:0030574, C-type mannose receptor 2)만이 높은 절대값의 가중치를 가지며, 이는 종양 상태와의 강한 연관성을 시사한다.
• 절대값 가중치가 가장 높은 상위 10개의 GO 용어는 도메인 전문가의 검토를 통해 신장암과 관련성이 있음이 확인되어 모델의 해석 가능성은 검증되었다.
• 어텐션 메커니즘이 모델이 유전자와 GO 용어 간에 의미 있는 계층적 관계를 학습할 수 있도록 하여, 복잡한 생물학적 상호작용을 포착하는 능력을 향상시켰다.