[논문 리뷰] Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs

Daniel Neil, Joss Briody외 4명|arXiv (Cornell University)|2018. 12. 01.

Advanced Graph Neural Networks참고 문헌 24인용 수 33

한 줄 요약

이 논문은 노이즈가 있는 생물의학 지식 그래프에서 링크 예측 성능을 햖थ기 위해 그래프 컨volution 신경망(GCNNs)에 정규화된 어텐션 메커니즘을 제안한다. 신뢰할 수 없는 간선에 낮은 가중치를 할당함으로써 모델은 노이즈에 대한 강건성을 향상시키고, 핵심 관계의 해석 가능한 시각화를 가능하게 하며, 자동 데이터 정화를 지원한다. 이는 FB15k-237과 대규모 생물의학 지식 그래프에서 성능 향상과 신뢰성 평가를 통해 입증되었다.

ABSTRACT

In this work, we provide a new formulation for Graph Convolutional Neural Networks (GCNNs) for link prediction on graph data that addresses common challenges for biomedical knowledge graphs (KGs). We introduce a regularized attention mechanism to GCNNs that not only improves performance on clean datasets, but also favorably accommodates noise in KGs, a pervasive issue in real-world applications. Further, we explore new visualization methods for interpretable modelling and to illustrate how the learned representation can be exploited to automate dataset denoising. The results are demonstrated on a synthetic dataset, the common benchmark dataset FB15k-237, and a large biomedical knowledge graph derived from a combination of noisy and clean data sources. Using these improvements, we visualize a learned model's representation of the disease cystic fibrosis and demonstrate how to interrogate a neural network to show the potential of PPARG as a candidate therapeutic target for rheumatoid arthritis.

연구 동기 및 목표

• 생물의학 지식 그래프에서 정확한 링크 예측을 방해하는 노이즈가 많고 이질적인 데이터 문제를 해결하기 위해.
• 학습 가능한 정규화된 어텐션 메커니즘을 도입하여 간선 가중치를 조정함으로써 GCNN의 노이즈 데이터 처리 성능을 향상시키기 위해.
• 개별 간선의 기여도를 시각화함으로써 모델의 해석 가능성 확보를 위해.
• 학습된 간선 가중치를 활용해 오류 또는 저신뢰도 관계를 식별하고 필터링함으로써 자동 데이터 품질 평가를 지원하기 위해.
• 파라티로이드 아미노산에 대한 치료적 타겟으로서 PPARG를 류마티스 관절염에 대해 식별함으로써 약물-타겟 발견 분야에서의 유용성을 입증하기 위해.

제안 방법

• 관계 간의 고정된 예산을 유지하기 위해 정규화된 학습 가능한 어텐션 가중치 $ C_{r,i,j} $ 를 포함한 GCNN 수식을 제안하며, 이는 정보성 있는 간선 선택을 장려한다.
• 정규화된 어텐션 메커니즘을 사용하며, $ C_{r,i,j} = \frac{1}{\sum_{r'\in\mathcal{R}}\sum_{j'\in\mathcal{N}_i^{r}}|\hat{C}_{r',i,j'}|}|\hat{C}_{r,i,j}| $ 로 정의되며, 초기값이 1로 설정되어 훈련 중 각 간선에 대한 신뢰도를 동적으로 할당한다.
• 비선형성 없이 대각행렬을 사용하는 단일 GCNN 레이어를 적용하여 과적합을 최소화하면서도 성능를 유지한다.
• 엔티티 임베딩과 간선 가중치 양쪽에 드롭아웃(p=0.5)을 적용하여 일반화 성능 향상.
• 음성 샘플링(n=10)을 사용한 교차 엔트로피 손실 및 초기 임베딩의 L2 정규화를 통해 훈련 시작 시 기여도가 균형 잡히도록 보장한다.
• 링크 예측을 위해 DistMult 및 Complex 디코더를 사용하며, 점수는 $ f(e_s, R_r, e_o) = e_s^T R_r e_o $ 로 계산된다.

실험 결과

연구 질문

• RQ1 GCNN 내 학습 가능한 어텐션 메커니즘이 노이즈가 많은 생물의학 지식 그래프에서 링크 예측 성능 향상에 기여하는가?
• RQ2 학습된 간선 가중치가 오류 또는 저신뢰도 관계를 식별하는 데 얼마나 효과적인 지표가 될 수 있는가?
• RQ3 어떻게 어텐션 가중치를 활용하여 모델 예측을 해석할 수 있는가? 예를 들어, 치료적 타겟 예측의 핵심 요인을 특정할 수 있는가?
• RQ4 학습된 간선 가중치가 Open Targets와 같은 신뢰할 수 있는 플랫폼의 외부 신뢰도 점수와 상관관계를 가지는가?
• RQ5 어떻게 어텐션 메커니즘이 낮은 가중치를 가진 신뢰도가 낮은 간선을 필터링함으로써 자동 데이터 정화를 지원할 수 있는가?

주요 결과

• 제안된 어텐션 기반 GCNN은 FB15k-237 및 합성 노이즈 데이터셋에서 베이스라인 모델보다 우수한 성능을 보이며, 노이즈에 대한 강건성을 입증했다.
• 수동 평가에서 낮은 가중치를 가진 간선은 오류 발생 가능성이 세 배 높았으며, 이는 간선 가중치가 데이터 품질의 신뢰할 수 있는 지표임을 확인한다.
• Open Targets의 신뢰도 점수 예측 능력에서 간선 가중치는 강력한 예측력을 보였다: 가중치 <0.1 인 간선은 가중치 >0.9 인 간선보다 저점수일 가능성이 네 배 높았다(p=6×10⁻²⁸).
• 섬유틱 섬유증의 경우 상위 6개 어텐션 가중치 간선에는 기존에 알려진 CF 치료제(예: 이바카프토르)가 포함되었고, 하위 6개는 잘못 추출된 또는 약한 근거가 있는 연결이었다.
• PPARG-RA 예측에서 가장 강력한 양의 기여 요인은 E2F4와의 공발현 연결이었고, 가장 강력한 음의 기여 요인은 정신분열증과 연관된 PPP3CC 유전자와의 치료적 연결이었다.
• 관계 유형별 간선 가중치 분포 분석 결과, 일부 데이터 소스(r₁, r₂ 등)는 상대적으로 더 많은 고가중치 간선을 포함하여 더 높은 유용성과 신뢰도를 나타내었다.