[논문 리뷰] Implications of Topological Imbalance for Representation Learning on Biomedical Knowledge Graphs

Stephen Bonner, Ufuk Kirik외 3명|arXiv (Cornell University)|2021. 12. 13.

Bioinformatics and Genomic Networks참고 문헌 57인용 수 23

한 줄 요약

이 논문은 생물의학 지식 그래프의 위상적 불균형—특히 매우 높은 연결성을 가진 '슈퍼 허브' 엔티티에 의해 유도되는 것—이 지식 그래프 임베딩(KGE) 모델에 영향을 미치며, 링크 예측 작업에서 이러한 엔티티가 과대평가됨에 따라 발생하는 영향을 조사한다. 다양한 데이터셋, 모델, 작업 조건에서도 KGE는 항상 고도수 엔티티를 높게 순위 매기며, 생물학적 관련성과는 무관하게 이를 반복적으로 나타내며, 이는 약물 발굴 적용 분야에서 그래프 구성과 모델 해석에 신중한 접근이 필요함을 시사한다.

ABSTRACT

Adoption of recently developed methods from machine learning has given rise to creation of drug-discovery knowledge graphs (KG) that utilize the interconnected nature of the domain. Graph-based modelling of the data, combined with KG embedding (KGE) methods, are promising as they provide a more intuitive representation and are suitable for inference tasks such as predicting missing links. One common application is to produce ranked lists of genes for a given disease, where the rank is based on the perceived likelihood of association between the gene and the disease. It is thus critical that these predictions are not only pertinent but also biologically meaningful. However, KGs can be biased either directly due to the underlying data sources that are integrated or due to modeling choices in the construction of the graph, one consequence of which is that certain entities can get topologically overrepresented. We demonstrate the effect of these inherent structural imbalances, resulting in densely-connected entities being highly ranked no matter the context. We provide support for this observation across different datasets, models as well as predictive tasks. Further, we present various graph perturbation experiments which yield more support to the observation that KGE models can be more influenced by the frequency of entities rather than any biological information encoded within the relations. Our results highlight the importance of data modeling choices, and emphasizes the need for practitioners to be mindful of these issues when interpreting model outputs and during KG composition.

연구 동기 및 목표

• 생물의학 지식 그래프의 위상적 불균형이 KGE 모델 성능에 미치는 영향을 조사하는 것.
• 높은 연결성을 가진 엔티티가 링크 예측 작업에서 체계적으로 과도하게 순위 매겨지는지 여부를 확인하는 것.
• 엔티티 연결성의 변화를 초래하는 그래프 펌터베이션에 대한 KGE 모델의 강건성을 평가하는 것.
• 지식 그래프 구축 및 KGE 적용에서 위상적 편향을 완화하기 위한 실용적 권고 사항을 제시하는 것.

제안 방법

• Hetionet 등 공개된 생물의학 지식 그래프에서 여러 KGE 모델(예: ComplEx)을 평가하였다.
• 고도수 엔티티에서의 엣지 재연결을 통해 그래프 펌터베이션을 수행하여 순위 안정성을 평가하였다.
• 그래프의 구조를 유지하면서 연결성을 변경한 후 예측 엔티티 순위의 변화를 측정하였다.
• 다양한 질병과 작업에서 엔티티의 도수 분포와 예측 점수 간의 상관관계를 분석하였다.
• 타겟 탐색 작업의 사례 연구를 통해 예측 결과와 위상적 특성 간의 비교를 수행하였다.
• 그래프 투영, 엣지 신뢰도 필터링, 연결성 수준에 따른 성능 평가 등에 대한 권고 사항을 제안하였다.

실험 결과

연구 질문

• RQ1 생물의학 지식 그래프의 위상적 불균형이 KGE 기반 링크 예측에서 고도수 엔티티를 체계적으로 과도하게 순위 매기는가?
• RQ2 슈퍼 허브 엔티티의 도수를 감소시키는 구조적 펌터베이션에 대해 KGE 모델 예측은 강건한가?
• RQ3 생물학적 관계 의미론과 비교해 엔티티 도수의 예측 점수에 미치는 영향은 어느 정도인가?
• RQ4 Hits@k와 MRR와 같은 표준 평가 지표는 고도수 엔티티에 대한 편향을 어떻게 반영하지 못하는가?
• RQ5 지식 그래프 구축 및 KGE 적용에서 위상적 불균형을 완화하기 위한 실용적 전략은 무엇인가?

주요 결과

• 다양한 데이터셋, 모델, 예측 작업 조건에서도 KGE 모델은 생물학적 관련성과는 무관하게 항상 고도수 엔티티를 과대평가한다.
• 그래프 펌터베이션 실험 결과, UBC와 같은 고도수 유전자에서 엣지를 재연결함으로써 순위 저하가 심각하게 발생하여 연결성에 대한 강한 의존성을 보였다.
• 특히 엔티티 도수를 포함한 그래프의 위상적 구조가 생물학적 관계 의미론보다 예측 점수에 더 큰 영향을 미쳤다.
• Hits@k와 MRR와 같은 표준 평가 지표는 엔티티 빈도에 편향되어 있으며, 저도수 엔티티에 대한 진정한 모델 성능을 반영하지 못할 수 있다.
• 생물학적 연관성이 약하거나 일반적인 경우에도 고도수 엔티티는 종종 높은 순위에 올라가 있어 현재 KGE 추론에 근본적인 편향이 있음을 시사한다.
• 본 연구는 데이터 모델링 선택—특히 NLP 파이프라인을 통한 엣지 생성—이 위상적 불균형을 악화시킬 수 있으며, 이를 신중히 평가해야 한다고 밝혔다.