[논문 리뷰] Towards Interpretable Sparse Graph Representation Learning with Laplacian Pooling

Emmanuel Noutahi, Dominique Beaini외 3명|arXiv (Cornell University)|2019. 05. 27.

Computational Drug Discovery Methods인용 수 13

한 줄 요약

이 논문은 구조와 특징을 기반으로 노드를 군집화함으로써 그래프 라플라시안을 활용해 분자의 그래프를 계층적으로 굴곡시키는, 미분 가능하고 해석 가능한 그래프 풀링 방법인 LaPool을 제안한다. 분자의 그래프 분류 및 생성 벤치마크에서 기존의 풀링 방법들을 능가하며, 더 명확한 서브스트럭처 해석을 가능하게 하며, 분자의 생성 작업에서 98.8%의 유효성과 65.5%의 유일성을 달성한다.

ABSTRACT

Recent work in graph neural networks (GNNs) has led to improvements in molecular activity and property prediction tasks. Unfortunately, GNNs often fail to capture the relative importance of interactions between molecular substructures, in part due to the absence of efficient intermediate pooling steps. To address these issues, we propose LaPool (Laplacian Pooling), a novel, data-driven, and interpretable hierarchical graph pooling method that takes into account both node features and graph structure to improve molecular representation. We benchmark LaPool on molecular graph prediction and understanding tasks and show that it outperforms recent GNNs. Interestingly, LaPool also remains competitive on non-molecular tasks. Both quantitative and qualitative assessments are done to demonstrate LaPool's improved interpretability and highlight its potential benefits in drug design. Finally, we demonstrate LaPool's utility for the generation of valid and novel molecules by incorporating it into an adversarial autoencoder.

연구 동기 및 목표

• 기존의 분자의 그래프를 위한 그래프 풀링 방법들이 해석 가능성과 구조 보존 측면에서 부족한 점을 보완하기 위해.
• 서브스트럭처 중요도를 포괄하는 계층적이고, 구조 인지 풀링을 가능하게 함으로써 GNN 내 그래프 표현 학습을 향상시키기 위해.
• 기존 GNN 아키텍처에 통합 가능한, 기울기 전파가 가능한(미분 가능) 그리고 노드 순서에 대해 안정적인, 풀링 메커니즘을 개발하기 위해.
• 예측 성능 및 해석 가능성 향상을 입증하기 위해 분자의 성질 예측 및 생성 모델링에 대해 평가하기 위해.
• 분자의 그래프 표현 학습에서의 해석 가능성 평가를 위한 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• LaPool은 그래프 라플라시안을 사용해 스펙트럼 임베딩을 계산하고, 이를 기반으로 구조 유사도를 고려한 노드 군집화를 수행한다.
• 라플라시안 기반 임베딩에 대해 학습 가능한 어텐션 메커니즘을 활용해 동적으로 중심 노드(클러스터 대표)를 선택한다.
• 비밀도가 높고, 기울기 전파가 가능한 어텐션 메커니즘을 통해 비중심 노드(팔로워)를 클러스터에 할당함으로써 그래프의 구조를 유지한다.
• 풀링 과정은 기울기 전파가 가능하고, 엔드 투 엔드 학습에 적합한, 기존 GNN 아키텍처에 쉽게 통합할 수 있다.
• 노드 순서에 영향을 받지 않는 재구성 손실을 GIN 기반 인코더를 사용해 도입함으로써 노드 순서에 대한 강건성을 향상시킨다.
• 분자의 생성을 위해 변동형 오토에인코더(WAE) 프레임워크에서 평가하였으며, 기준 데이터셋으로 QM9를 사용하였다.

실험 결과

연구 질문

• RQ1 노드 특징과 그래프 구조를 모두 통합한 기울기 전파가 가능한 그래프 풀링 방법이 GNN 내 분자의 표현 학습에 향상 효과를 줄 수 있는가?
• RQ2 그래프 라플라시안 기반의 계층적 군집화를 통해 LaPool이 기존의 풀링 방법들에 비해 예측 성능 및 해석 가능성 측면에서 어떤 차이를 보이는가?
• RQ3 LaPool이 유의미한 분자의 서브스트럭처를 유지하고 강조함으로써 GNN의 해석 가능성에 얼마나 기여하는가?
• RQ4 LaPool이 생성 모델에서 효과적으로 사용되어 유효하고, 유일하며, 새로운 분자를 생성할 수 있는가?
• RQ5 LaPool은 분자의 그래프를 넘어서, 다른 종류의 스퍼스하고 비정규적인 그래프 데이터로도 일반화 가능한가?

주요 결과

• LaPool은 QM9 데이터셋에서 분자의 생성 작업에서 98.8%의 유효성을 달성하여, WAE-GNN(96.8%)과 WAE-Diff(97.2%)를 능가하며, 그래프 표현의 뛰어난 강건성을 보여주었다.
• 생성된 분자에서 65.5%의 유일성을 확보하여, WAE-GNN(50.0%)과 WAE-Diff(29.3%)에 비해 유의미한 개선을 보이며 다양성 향상을 입증하였다.
• 비분자 벤치마크에서도 높은 성능을 유지하여, 분자의 그래프를 넘어서 일반화 가능성을 입증하였다.
• 굴곡 과정에서 연결성과 특징 구조를 유지함으로써 더 해석 가능한 표현을 생성하였으며, 더 명확한 서브스트럭처 식별이 가능했다.
• 이 작업의 새로운 기여점으로, GNN의 해석 가능성 평가를 체계적으로 수행할 수 있는 분자의 그래프 해석 평가 벤치마크를 제안하였다.
• LaPool의 풀링 메커니즘이 WAE 프레임워크 내에서 더 높은 재구성 품질 기여를 하였으며, 순서에 관계없는 손실 향상과 유효성 향상을 통해 이를 뒷받침하였다.