[論文レビュー] Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning

Tianle Ma, Aidong Zhang|arXiv (Cornell University)|Jun 3, 2019

Bioinformatics and Genomic Networks参考文献 19被引用数 11

ひとこと要約

本稿では、要因グラフを用いて遺伝子オントロジー（GO）の知識をアーキテクチャに統合することで、透明で生物学的に意味のある表現を可能にする解釈可能なディープラーニングモデル、要因グラフニューラルネットワーク（FGNN）を提案する。確率的深さによる展開と、マルチスケール相互作用を捉えるためのアテンションメカニズムを組み合わせることで、FGNNはがんゲノムデータセットにおいて最先端の性能を達成するとともに、臨床的アウトカムに関連する重要なGO用語を同定することができる。

ABSTRACT

While deep learning has achieved great success in many fields, one common criticism about deep learning is its lack of interpretability. In most cases, the hidden units in a deep neural network do not have a clear semantic meaning or correspond to any physical entities. However, model interpretability and explainability are crucial in many biomedical applications. To address this challenge, we developed the Factor Graph Neural Network model that is interpretable and predictable by combining probabilistic graphical models with deep learning. We directly encode biological knowledge such as Gene Ontology as a factor graph into the model architecture, making the model transparent and interpretable. Furthermore, we devised an attention mechanism that can capture multi-scale hierarchical interactions among biological entities such as genes and Gene Ontology terms. With parameter sharing mechanism, the unrolled Factor Graph Neural Network model can be trained with stochastic depth and generalize well. We applied our model to two cancer genomic datasets to predict target clinical variables and achieved better results than other traditional machine learning and deep learning models. Our model can also be used for gene set enrichment analysis and selecting Gene Ontology terms that are important to target clinical variables.

研究の動機と目的

• 生物学的応用におけるディープラーニングモデルの解釈不能性の問題に対処する。特に、隠れユニットが意味的意味を持たないという点を改善する。
• 「大きなp、小さなn」のバイオメディカル問題におけるモデルの一般化性能を向上させるために、生物学的知識をインダクティブバイアスとして統合する。
• ドメイン固有の知識をモデルアーキテクチャに直接埋め込むことで、表現力が高くかつ解釈可能なディープラーニングフレームワークを構築する。
• 学習可能なアテンション重みと分類器重みを通じて、臨床変数に関連する生物学的に関連するGO用語の同定を可能にする。

提案手法

• モデルは、ノードが遺伝子または遺伝子オントロジー（GO）用語に対応し、エッジが生物学的関係を表す要因グラフ構造を用いて生物学的知識を表現する。
• FGNNは、層間で重みを共有する深く前向きなアーキテクチャに展開され、確率的深さによる学習が可能になり、一般化性能が向上する。
• 遺伝子とGO用語間の階層的・マルチスケール相互作用を捉えるためにアテンションメカニズムが導入され、モデルが関連する生物学的経路に注目できるようにする。
• 層間でのパラメータ共有によりモデルの複雑さが低減されつつ表現力が維持され、限られたデータでも学習が可能になる。
• 最終層は線形分類器であり、その重みが最も予測に寄与するGO用語の同定に用いられ、解釈可能性と遺伝子セットエントリッチメント解析が可能になる。
• モデルはバックプロパゲーションを用いてエンドツーエンドで学習され、要因グラフ構造が表現学習をガイドするインダクティブバイアスとして機能する。

実験結果

リサーチクエスチョン

• RQ1 遺伝子オントロジー（GO）を構造的インダクティブバイアスとして統合することで、ゲノム分野におけるディープラーニングモデルの解釈性と性能が向上するか？
• RQ2 FGNNにおけるアテンションメカニズムは、遺伝子とGO用語の間の階層的関係をマルチスケールでどのように捉えているか？
• RQ3 FGNNは、従来の手法およびディープラーニングベースラインと比較して、ゲノムデータから臨床変数を予測する際にどの程度優れた性能を示すか？
• RQ4 最終分類器の学習された重みは、疾患状態に関連する生物学的に関連するGO用語を同定できるか？
• RQ5 GO構造をランダム化するとモデル性能が低下するか。これにより、モデルアーキテクチャにおける生物学的知識の重要性が裏付けられるか？

主な発見

• FGNNは、肺がんおよび腎がんの両データセットで最高のF1スコアを記録し、それぞれ0.566および0.563を達成。ランダムフォレスト、MLP、GCN、プロトタイプネットワークを上回った。
• GOに基づく要因グラフ構造をランダム化すると、F1スコアは肺がんで0.539、腎がんで0.532に低下し、生物学的知識が性能に不可欠であることを示した。
• 腎がんデータセットでは、FGNNとMLPの両方が腫瘍対対照サンプルの分類で98％の正確度を達成したが、解釈可能な特徴重要度はFGNNのみが提供した。
• 学習後、GO用語のわずかなサブセット（例：GO:0030574、C型マンノース受容体2）が絶対値の高い重みを示し、腫瘍状態と強い関連があることを示した。
• 絶対値が最も高い上位10個のGO用語は、分野の専門家による確認を通じて腎がんと生物学的に関連していることが確認され、モデルの解釈可能性が裏付けられた。
• アテンションメカニズムにより、遺伝子とGO用語間の意味的で階層的な関係をモデルが学習でき、複雑な生物学的相互作用を捉える能力が向上した。