[논문 리뷰] Variational Recurrent Neural Networks for Graph Classification

Edouard Pineau, Nathan de Lara|arXiv (Cornell University)|2019. 02. 07.

Advanced Graph Neural Networks참고 문헌 24인용 수 3

한 줄 요약

이 논문은 BFS 기반의 노드 순서 정렬과 게이트드 순환 단위(GRUs)를 사용하여 그래프를 순차적으로 처리하고, 불변 표현을 학습하는 변동형 순환 그래프 분류기(VRGC)를 제안한다. 또한 구조적 정규화를 위해 새로운 변동형 자동재귀 블록을 도입한다. 이 모델은 네 개인 분자의 그래프 데이터셋에서 최고 성능을 기록하며, 특히 NCI1과 Proteins Full에서 뛰어난 성능을 보인다.

ABSTRACT

We address the problem of graph classification based only on structural information. Inspired by natural language processing techniques (NLP), our model sequentially embeds information to estimate class membership probabilities. Besides, we experiment with NLP-like variational regularization techniques, making the model predict the next node in the sequence as it reads it. We experimentally show that our model achieves state-of-the-art classification results on several standard molecular datasets. Finally, we perform a qualitative analysis and give some insights on whether the node prediction helps the model better classify graphs.

연구 동기 및 목표

• 자연어처리(NLP) 기법을 활용한 시퀀스 모델링 기술을 사용하여 크기가 변동되고 순서에 민감한 입력을 갖는 그래프 분류 문제를 해결하고자 한다.
• 노드 또는 에지 속성에 의존하지 않고 그래프 신경망의 일반화 능력과 구조적 표현 학습 능력을 향상시키고자 한다.
• 학습 중에 노드 간 연결성을 예측하도록 유도함으로써 변동형 자동재귀 정규화가 분류 성능 향상에 기여하는지 조사하고자 한다.
• 학습 및 테스트 중에 무작위 BFS 루트를 통한 데이터 증강을 통해 노드 인덱싱 불변성을 달성하고자 한다.
• 표준 분자의 벤치마크에서 변동형 자동재귀 블록이 최종 분류 정확도에 기여하는 정도를 평가하고자 한다.

제안 방법

• 모델은 무작위 BFS 탐색을 적용하여 무방향 그래프의 노드 순서를 재정렬하고, 인접 행렬을 d차원 노드 특성 벡터 시퀀스로 변환한다.
• 각 노드의 인접 벡터는 BFS 순서상의 첫 d개 이전 노드에 한정하여 잘라내고, 고정 차원을 유지하기 위해 0 패딩을 적용한다.
• GRU는 노드 임베딩의 시퀀스를 처리하여 그래프 전반의 구조적 의존성을 반영한 잠재 표현을 학습한다.
• 최종 은닉 상태를 사용하여 별도의 GRU와 소프트맥스 분류기 헤드가 그래프 클래스 확률을 예측하며, 교차 엔트로피 손실을 사용한다.
• 각 단계에서 다음 노드의 인접 벡터를 예측하기 위한 변동형 자동재귀(VAR) 블록을 도입하여 보조 학습 신호와 정규화 효과를 제공한다.
• 추론 시, N개의 무작위 BFS 루트에 대해 예측을 집계하고, K번의 실행에 걸쳐 하드 보팅을 적용하여 예측의 안정성과 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 표준 순환 그래프 분류기와 비교해 볼 때, 변동형 자동재귀 정규화를 통합함으로써 그래프 분류 성능이 향상되는가?
• RQ2 무작위 BFS 기반의 노드 순서 정렬이 노드 인덱싱 불변 표현 학습에 얼마나 기여하는가?
• RQ3 VAR 블록의 보조 예측 작업이 분류를 위한 학습된 잠재 표현의 품질에 어떤 영향을 미치는가?
• RQ4 노드 또는 에지 속성을 사용하지 않고도 제안된 방법이 표준 분자의 그래프 벤치마크에서 최고 성능(SOTA)을 달성할 수 있는가?
• RQ5 BFS 루트 샘플링을 통한 데이터 증강과 앙상블 평균화의 조합이 일반화 능력 향상과 예측 신뢰도 향상에 기여하는가?

주요 결과

• VRGC 모델은 네 개인 표준 분자의 그래프 데이터셋에서 최고 성능을 기록하였다: Mutag에서 86.3%, Enzymes에서 48.4%, Proteins Full에서 74.8%, NCI1에서 80.7%의 정확도를 달성하였다.
• NCI1 데이터셋에서 VRGC는 이전의 SOTA(FGSD, 79.8%)를 모두 초월하여 80.7%의 정확도를 기록하였다.
• 변동형 자동재귀 블록은 특히 NCI1과 Proteins Full과 같은 더 큰 데이터셋에서 성능 향상에 기여하며, 이는 구조적 표현 학습을 향상시킨다는 것을 시사한다.
• 데이터 증강을 통한 노드 인덱싱 불변성에 대한 모델의 강건성은 높은 수준을 유지한다: 추론 중에 각 그래프에 대해 여러 번의 BFS 탐색을 수행함으로써 안정적이고 신뢰할 수 있는 예측이 가능하다.
• 정성적 분석 결과, 서로 다른 노드 순서로 표현된 동일한 그래프에 대응하는 잠재 공간 클러스터는 조밀하고 일관된 군집을 이룬다. 이는 효과적인 불변성 학습이 이루어졌음을 나타낸다.
• VAR 블록의 추가적인 학습 비용은 미미하여, 그래프 분류에 있어 효율적인 정규화 기법으로 활용될 수 있다.