[논문 리뷰] N-Gram Graph: Simple Unsupervised Representation for Graphs, with Applications to Molecules

Shengchao Liu, Mehmet F. Demirel외 1명|arXiv (Cornell University)|2018. 06. 24.

Computational Drug Discovery Methods참고 문헌 58인용 수 78

한 줄 요약

소개된 N-gram Graph는 그래프 임베딩을 정점 임베딩으로부터 짧은 워크를 통해 생성하는 무감독, 학습-없는 그래프 표현으로 분자에 대해 강력한 예측 성능을 여러 분자 속성 작업에서 달성한다.

ABSTRACT

Machine learning techniques have recently been adopted in various applications in medicine, biology, chemistry, and material engineering. An important task is to predict the properties of molecules, which serves as the main subroutine in many downstream applications such as virtual screening and drug design. Despite the increasing interest, the key challenge is to construct proper representations of molecules for learning algorithms. This paper introduces the N-gram graph, a simple unsupervised representation for molecules. The method first embeds the vertices in the molecule graph. It then constructs a compact representation for the graph by assembling the vertex embeddings in short walks in the graph, which we show is equivalent to a simple graph neural network that needs no training. The representations can thus be efficiently computed and then used with supervised learning methods for prediction. Experiments on 60 tasks from 10 benchmark datasets demonstrate its advantages over both popular graph neural networks and traditional representation methods. This is complemented by theoretical analysis showing its strong representation and prediction power.

연구 동기 및 목표

• 분자 속성 예측의 동기 부여와 효과적인 그래프 표현의 필요성.
• 정점 임베딩과 n-gram 워크를 기반으로 한 무감독, 학습-없는 그래프 표현 제안.
• 매개변수와 훈련이 없는 간단한 GNN과 동등하다는 것을 보인다.
• 10개 벤치마크 데이터셋의 60개 작업에서 강력한 예측 성능을 보여준다.
• 표현력 및 예측 보장에 대한 이론적 분석을 제공한다.

제안 방법

• 특성 인식이 가능한 원-핫 인코딩을 사용하여 그래프 정점을 임베딩하고 이웃 특성으로부터 정점의 특성을 예측하여 정점 임베딩 행렬 W를 학습한다(무감독 학습).
• Walk을 따라 정점 임베딩의 원소별 곱을 취하고 길이가 n인 모든 워크를 합산하여 n-gram 임베딩을 구성한다.
• f_(1), ..., f_(T)를 연결(concatenate)하여 그래프 임베딩 f_G를 형성하고, 길이 T까지의 워크를 가진 그래프를 표현한다.
• n-gram 그래프 임베딩은 반복적 이웃 집계가 있는 매개변수-없는 Graph Neural Network와 동등하다는 것을 보인다.
• 실행 시간 분석: O(r T (m + m_e)) 여기서 r은 임베딩 차원, T는 워크 길이, m과 m_e는 정점과 간선이다.

실험 결과

연구 질문

• RQ1 레이블링된 데이터에 대해 엔드-투-엔드 학습 없이도 무감독의 간단한 그래프 표현이 경쟁력 있는 분자 속성 예측을 달성할 수 있는가?
• RQ2 정점 임베딩으로 임베딩될 때 n-gram 워크 통계가 그래프에 관한 정보의 어느 정도를 보존하는가?
• RQ3 제안된 N-gram 그래프 표현이 데이터셋과 작업 간에 전이 가능한가?
• RQ4 하이퍼파라미터 r(임베딩 차원)와 T(워크 길이)가 성능에 어떤 영향을 미치는가?

주요 결과

• 간단한 XGBoost 또는 Random Forest를 이용한 N-gram 그래프는 60개 작업에 걸쳐 전통적 지문(fingerprints)과 여러 GNN보다 종종 우수한 성능을 보인다.
• 하나의 데이터셋에서 학습된 임베딩은 다른 데이터셋으로 전이될 수 있으며, 심지어 랜덤 임베딩도 일부 작업에서 경쟁력 있는 결과를 낸다.
• 이 방법은 QM9/QM8 데이터셋에서 DTNN/MPNN과 같은 3D 정보 기반 모델과 견주거나 우수한 성능을 달성한다.
• 일반적으로 T를 증가시키면 성능이 향상되고, 더 큰 r은 영향이 덜하다.
• 이 접근법은 많은 GNN보다 표현을 구성하는 속도가 빠르고 커널 기반 방법과도 경쟁력이 있다.