[논문 리뷰] Interpretable Contrastive Learning for Networks.

Takanori Fujiwara, Jian Zhao외 3명|arXiv (Cornell University)|2020. 05. 25.

Bioinformatics and Genomic Networks참고 문헌 48인용 수 5

한 줄 요약

이 논문은 한 네트워크에서 다른 네트워크와 비교해 유일한 구조적 패턴을 부각시키기 위해 노드를 저차원 공간에 임bedding하는 새로운 대비 네트워크 표현 학습 프레임워크인 i-cNRL을 제안한다. 해석 가능성 기능을 통합함으로써 i-cNRL은 차이를 유발하는 특정 부분 구조나 모티프를 식별한다. 실생활 생물학적 네트워크와 합성 네트워크에서 효과적으로 입증되었으며, 기준선 cNRL 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Contrastive learning (CL) is an emerging analysis approach that aims to discover unique patterns in one dataset relative to another. By applying this approach to network analysis, we can reveal unique characteristics in one network by contrasting with another. For example, with networks of protein interactions obtained from normal and cancer tissues, we can discover unique types of interactions in cancer tissues. However, existing CL methods cannot be directly applied to networks. To address this issue, we introduce a novel approach called contrastive network representation learning (cNRL). This approach embeds network nodes into a low-dimensional space that reveals the uniqueness of one network compared to another. Within this approach, we also design a method, named i-cNRL, that offers interpretability in the learned results, allowing for understanding which specific patterns are found in one network but not the other. We demonstrate the capability of i-cNRL with multiple network models and real-world datasets. Furthermore, we provide quantitative and qualitative comparisons across i-cNRL and other potential cNRL algorithm designs.

연구 동기 및 목표

• 기존 대비 학습 방법이 네트워크 데이터를 다루는 데에 한계가 있음을 해결하기 위해 네트워크 특화의 대비 표현 학습 접근법을 설계한다.
• 특히 정상 조직과 암 조직의 단백질 상호작용 네트워크와 같은 생물학적 네트워크에서 한 네트워크에만 존재하는 고유한 구조적 패턴을 발견할 수 있도록 한다.
• 관찰된 차이를 유발하는 특정 부분 구조나 모티프가 무엇인지 식별함으로써 대비 네트워크 학습의 해석 가능성을 향상시킨다.
• 합성 및 실생활 네트워크 데이터셋에 대한 종합적 평가를 통해 제안된 방법의 효과성을 검증한다.

제안 방법

• 이 방법은 두 네트워크의 노드를 함께 저차원 공간에 임베딩하여 상이함을 강조하는 대비 네트워크 표현 학습(cNRL)을 도입한다.
• 유사한 노드는 가까이, 한 네트워크에만 존재하는 노드는 멀리 떨어지도록 유도하는 대비 손실 함수를 사용한다.
• 핵심 혁신은 대비 신호를 유발하는 특정 부분 구조를 강조하기 위해 주의 메커니즘 또는 패턴 기여도 모듈을 통합한 i-cNRL의 설계이다.
• 프레임워크는 그래프 신경망(GNNs)을 사용해 노드 표현을 인코딩한 후, 두 네트워크 간의 표현을 비교하는 대비 정렬 목표를 설정한다.
• 지역적 하위그래프 패턴이 대비 신호에 기여하는 정도를 분석함으로써 해석 가능성을 확보하여 고유한 모티프 또는 상호작용 유형을 식별할 수 있다.
• 구조적 정보를 유지하면서도 상이함을 강조하기 위해 대비 및 재구성 목표의 조합을 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 대비 학습이 네트워크 데이터에 효과적으로 적용되어 한 네트워크에서 다른 네트워크와 비교해 고유한 구조적 패턴을 드러내는가?
• RQ2 해석 가능성이 대비 네트워크 표현 학습에 통합되어 관찰된 상이함을 유발하는 특정 부분 구조는 무엇인지 식별할 수 있는가?
• RQ3 i-cNRL은 고유한 네트워크 패턴을 탐지하는 데 있어 다른 cNRL 설계 대비 성능이 뛰어나게 되는가?
• RQ4 i-cNRL은 합성 네트워크와 실생활 생물학적 네트워크를 포함한 다양한 네트워크 유형에 대해 얼마나 강건한가?

주요 결과

• i-cNRL은 정상 조직과 암 조직에서 유래한 단백질-단백질 상호작용 네트워크에서 다른 네트워크에 존재하지 않거나 변형된 고유한 부분 구조를 성공적으로 식별한다.
• 하류 분류 및 클러스터링 작업을 통해 기준선 cNRL 방법에 비해 네트워크 상이성을 더 잘 구분하는 것으로 나타났다.
• 해석 가능성 분석 결과, 피드포워드 루프나 허브-스포크 구성과 같은 특정 모티프가 암 관련 네트워크에서 일관되게 다르게 나타나는 것으로 확인되었다.
• 정량적 비교 결과, 비해석적 cNRL 변종에 비해 i-cNRL은 더 높은 대비 정렬 정확도와 더 나은 구조적 유일성 유지 성능을 보였다.
• 정성적 분석을 통해 식별된 패턴들이 암에서 조절이 어긋난 신호 전달 경로와 같은 알려진 생물학적 메커니즘과 일치함을 확인했다.