[論文レビュー] Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs

Daniel Neil, Joss Briody+4 more|arXiv (Cornell University)|Dec 1, 2018

Advanced Graph Neural Networks参考文献 24被引用数 33

ひとこと要約

本稿では、ノイズが多いバイオメディカル知識グラフにおけるリンク予測の精度向上を目的として、グラフ畳み込みニューラルネットワーク（GCNN）に正則化されたアテンションメカニズムを提案する。信頼性の低いエッジに対しては低い重みを割り当てることで、モデルのノイズ耐性が向上し、重要な関係性の可視化が可能になるとともに、自動的なデータノイズ除去が可能となる。実験ではFB15k-237および大規模なバイオメディカルKGで性能向上と信頼性評価が確認された。

ABSTRACT

In this work, we provide a new formulation for Graph Convolutional Neural Networks (GCNNs) for link prediction on graph data that addresses common challenges for biomedical knowledge graphs (KGs). We introduce a regularized attention mechanism to GCNNs that not only improves performance on clean datasets, but also favorably accommodates noise in KGs, a pervasive issue in real-world applications. Further, we explore new visualization methods for interpretable modelling and to illustrate how the learned representation can be exploited to automate dataset denoising. The results are demonstrated on a synthetic dataset, the common benchmark dataset FB15k-237, and a large biomedical knowledge graph derived from a combination of noisy and clean data sources. Using these improvements, we visualize a learned model's representation of the disease cystic fibrosis and demonstrate how to interrogate a neural network to show the potential of PPARG as a candidate therapeutic target for rheumatoid arthritis.

研究の動機と目的

• バイオメディカル知識グラフにおけるノイズが多く多様なデータが、正確なリンク予測を阻害するという課題に対処すること。
• エッジ重みに学習可能な正則化アテンションメカニズムを導入することで、ノイズの多いデータにおけるGCNNの性能を向上させること。
• 個々のエッジが予測に与える寄与度を可視化することで、モデルの解釈可能性を向上させること。
• 学習されたエッジ重みを用いて誤ったまたは信頼性の低い関係性を特定・フィルタリングすることで、自動的なデータ品質評価を支援すること。
• PPARGをリウマチ性関節リウマチの治療標的に特定するなど、ドラッグ・ターゲット同定の応用において実用性を示すこと。

提案手法

• 関係ごとに固定された予算を維持するように正規化された学習可能なアテンション重み $ C_{r,i,j} $ を導入したGCNNの定式化を行い、情報量の多いエッジの選択を促進する。
• 正則化されたアテンションメカニズムを採用し、$ C_{r,i,j} = \frac{1}{\sum_{r'\in\mathcal{R}}\sum_{j'\in\mathcal{N}_i^{r}}|\hat{C}_{r',i,j'}|}|\hat{C}_{r,i,j}| $ として定義する。初期値は1に設定され、トレーニング中に各エッジの信頼性を動的に割り当てる。
• 非線形性を含まない対角行列を用いた単一のGCNN層を採用し、過学習を抑えるとともに性能を維持する。
• エンティティ埋め込みおよびエッジ重みの両方にドロップアウト（p=0.5）を適用し、一般化性能を向上させる。
• 負例サンプリング（n=10）を用いたクロスエントロピー損失とL2正規化初期埋め込みを採用し、トレーニング開始時の寄与度のバランスを保証する。
• リンク予測にはDistMultおよびComplexデコーダを用い、スコアは $ f(e_s, R_r, e_o) = e_s^T R_r e_o $ で計算する。

実験結果

リサーチクエスチョン

• RQ1 GCNNにおける学習可能なアテンションメカニズムは、ノイズの多いバイオメディカル知識グラフにおけるリンク予測性能を向上させることができるか？
• RQ2 学習されたエッジ重みは、誤ったまたは信頼性の低い関係性を特定するためのデータ品質の代理指標としてどの程度有効か？
• RQ3 アテンション重みを用いることで、治療標的のリンク予測における主要因を特定するなど、モデルの予測を解釈することは可能か？
• RQ4 エッジ重みは、Open Targetsなどの信頼できるプラットフォームからの外部の信頼スコアと相関するか？
• RQ5 低重みの信頼性の低いエッジをフィルタリングすることで、モデルのアテンションメカニズムが自動的なデータノイズ除去を支援できるか？

主な発見

• 提案されたアテンション付きGCNNは、FB15k-237および合成ノイズデータセットにおいてベースラインモデルを上回り、ノイズに強く頑健であることが確認された。
• 手動評価において、低重みエッジは誤りである可能性が3倍高かった。エッジ重みがデータ品質の信頼性ある指標であることが裏付けられた。
• エッジ重みはOpen Targetsの信頼スコアに対して強く予測力を持つことが判明した。重みが0.1未満のエッジは、重みが0.9を超えるエッジよりも4倍の確率で低スコアであった（p=6×10⁻²⁸）。
• 線維化症の症例では、上位6つのアテンション重み付きエッジに既知のCF治療薬（例：イバカフトール）が含まれた一方、下位6つは誤った抽出または弱い根拠のリンクであった。
• PPARG-RA予測において、最も強い正の駆動要因はE2F4との共発現リンクであった。一方、最も強い負の駆動要因は、統合失調症と関連するPPP3CCへの治療的リンクであった。
• 関係タイプごとのエッジ重み分布を分析した結果、特定のデータソース（例：$ r_1, r_2 $）は高重みエッジの割合が高く、より有用で信頼性が高いことが示された。