[논문 리뷰] Graph Classification via Deep Learning with Virtual Nodes

Trang Pham, Truyen Tran외 2명|arXiv (Cornell University)|2017. 08. 14.

Machine Learning in Materials Science참고 문헌 16인용 수 7

한 줄 요약

이 논문은 가상 노드를 모든 실제 노드에 연결하여 그래프 표현을 향상시키는 가상 컬럼 네트워크(Virtual Column Network, VCN)를 제안한다. 이는 컬럼 네트워크 아키텍처를 통해 엔드 투 엔드 학습을 가능하게 하며, 생물활성 예측 및 소프트웨어 취약성 탐지에서 최신 기준 성능을 달성하여, AUC 및 F1 스코어 모두에서 기존 베이스라인을 능가한다.

ABSTRACT

Learning representation for graph classification turns a variable-size graph into a fixed-size vector (or matrix). Such a representation works nicely with algebraic manipulations. Here we introduce a simple method to augment an attributed graph with a virtual node that is bidirectionally connected to all existing nodes. The virtual node represents the latent aspects of the graph, which are not immediately available from the attributes and local connectivity structures. The expanded graph is then put through any node representation method. The representation of the virtual node is then the representation of the entire graph. In this paper, we use the recently introduced Column Network for the expanded graph, resulting in a new end-to-end graph classification model dubbed Virtual Column Network (VCN). The model is validated on two tasks: (i) predicting bio-activity of chemical compounds, and (ii) finding software vulnerability from source code. Results demonstrate that VCN is competitive against well-established rivals.

연구 동기 및 목표

• 복잡하고 비정규적인 구조를 가진 변형 크기의 속성 부여된 그래프에 대해 고정 크기의 그래프 표현을 학습하는 문제에 대응하기 위해.
• 노드 속성이나 국소 연결성에 직접적으로 포함되지 않는 글로벌 그래프 수준의 특징을 포착하여 그래프 분류 성능을 향상시키기 위해.
• 수작업으로 만든 특징이나 커널 방법에 의존하지 않고, 노드 및 그래프 표현을 동시에 학습할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 화학 및 소프트웨어 공학 분야의 실제 그래프 분류 작업에서 가상 노드 보정 전략의 효과를 검증하기 위해.

제안 방법

• 모든 실제 노드에 양방향으로 연결된 단일 가상 노드를 추가하여 입력 속성 부여 그래프를 보강하여 잠재적인 글로벌 그래프 특성을 표현하기 위해.
• 다양한 유형의 간선과 노드 속성을 통해 반복적인 메시지 전달을 수행하는 컬럼 네트워크 아키텍처를 사용하여 노드 표현을 계산하기 위해.
• 가상 노드의 표현을 사용하여 엔드 투 엔드 그래프 분류를 위한 미분 가능한 분류기(예: 피드포워드 네트워크)를 적용하기 위해.
• 가상 노드를 그래프 수준의 기술적 특징이나 보조 정보로 초기화하고, 역전파를 사용하여 전체 모델을 엔드 투 엔드로 훈련하기 위해.
• 가상 노드의 최종 은닉 상태를 하류 분류 작업을 위한 고정 크기의 그래프 수준 임베딩으로 활용하기 위해.
• 소스 코드 내 메서드 및 속성 선언의 시퀀스를 임베딩하기 위해 LSTM과 노이즈 대비 추정(NCE)을 사용하여 특징 추출하기 위해.

실험 결과

연구 질문

• RQ1 단일 가상 노드는 노드 속성이나 국소 이웃에 포함되지 않은 글로벌 그래프 수준의 정보를 효과적으로 포착할 수 있는가?
• RQ2 컬럼 네트워크와 같은 깊은 노드 표현 모델과 가상 노드를 통합하면 그래프 분류 성능이 향상되는가?
• RQ3 화학 화합물과 소프트웨어 소스 코드를 포함한 그래프 분류 작업에서 VCN은 최신 기준 방법과 비교해 어떻게 성능을 내는가?
• RQ4 가상 노드 메커니즘은 다중 유형의 간선과 방향성 간선을 가진 다양한 그래프 유형으로 일반화 가능한가?

주요 결과

• VCN은 화합물의 생물활성 예측 작업에서 모든 베이스라인을 능가하며, 뛰어난 분류 정확도를 달성한다.
• 소프트웨어 취약성 탐지 작업에서 VCN은 비교된 모든 방법 중 가장 높은 AUC와 F1 스코어를 기록한다.
• 가상 노드 표현은 노드 수준의 임베딩이나 수작업 특징에만 의존하는 모델보다 성능 향상이著명하다.
• 이 방법은 다중 유형의 간선과 방향성 간선을 가진 그래프를 포함한 다양한 그래프 유형에서 견고하게 작동하여 광범위한 적용 가능성을 보여준다.
• 제거 실험(ablation study) 결과, 가상 노드는 글로벌 그래프 구조를 포착하는 데 필수적이며, 이를 제거하면 성능이 떨어진다.