[논문 리뷰] Deep Graph Attention Model

John Boaz Lee, Ryan A. Rossi외 1명|arXiv (Cornell University)|2017. 09. 15.

Advanced Graph Neural Networks참고 문헌 26인용 수 11

한 줄 요약

이 논문은 그래프 분류를 위해 정보가 풍부한 부분그래프를 선택적으로 처리하는 주의 메커니즘과 외부 메모리를 갖춘 순환 신경망인 그래프 주의 모델(GAM)을 제안한다. 전체 그래프가 아닌 주목할 만한 영역에 집중함으로써, GAM-mem은 전체 그래프 처리 방식을 사용하는 모델들을 능가하며, NCI-33 및 NCI-83을 포함한 다섯 개인 기준 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Graph classification is a problem with practical applications in many different domains. Most of the existing methods take the entire graph into account when calculating graph features. In a graphlet-based approach, for instance, the entire graph is processed to get the total count of different graphlets or sub-graphs. In the real-world, however, graphs can be both large and noisy with discriminative patterns confined to certain regions in the graph only. In this work, we study the problem of attentional processing for graph classification. The use of attention allows us to focus on small but informative parts of the graph, avoiding noise in the rest of the graph. We present a novel RNN model, called the Graph Attention Model (GAM), that processes only a portion of the graph by adaptively selecting a sequence of "interesting" nodes. The model is equipped with an external memory component which allows it to integrate information gathered from different parts of the graph. We demonstrate the effectiveness of the model through various experiments.

연구 동기 및 목표

• 기존의 전체 그래프를 처리하는 그래프 분류 방법의 한계를 해결한다. 이는 잡음을 유발하고 높은 계산 비용을 수반할 수 있다.
• 분류 패턴이 희박하고 局소화되어 있는 대규모이며 잡음이 많은 실생활 그래프에서의 분류 성능을 향상시키기 위해 개선한다.
• 주의 메커니즘을 통해 동적으로 정보가 풍부한 부분그래프 영역을 선택함으로써, 전역 그래프 통계에 의존도를 줄인다.
• 외부 메모리 구성 요소를 통합하여 방문한 다수의 노드에서 정보를 집계함으로써 표현 학습을 향상시킨다.
• 작은 관련 부분그래프에 집중하는 것이 전체 그래프를 처리하는 것보다 더 높은 성능을 낼 수 있음을 입증한다. 특히 신호 대 잡음 비율이 낮을 경우 더욱 그렇다.

제안 방법

• 주어진 그래프에서 주의 메커니즘을 통해 선택된 노드의 순서를 처리하는 순환 신경망(RNN) 아키텍처를 제안한다.
• 각 노드에 대해 주의 네트워크를 사용해 점수를 계산하고, 그래프 내에서 다음으로 방문할 노드의 선택을 이끌어낸다.
• 방문한 노드의 은닉 상태를 저장하고 집계하는 외부 메모리 구성 요소를 도입하여 장거리 정보 통합을 가능하게 한다.
• 메모리 내 역사 벡터에 가중치 풀링을 적용하여 더 긴 보행을 지원하고 표현 품질을 향상시킨다.
• 예측 정확도에 기반한 보상 함수를 사용하는 강화 학습과 정책 기반 기울기 방법을 사용해 모델을 훈련시킨다.
• 시퀀스 길이 $T=12$, 샘플 수 $M=20$ 등의 하이퍼파라미터를 고정하고, 학습률 스케줄링을 적용한 Adam 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 선택적으로 부분그래프를 처리하는 주의 기반 RNN 모델이 전체 그래프를 처리하는 모델보다 그래프 분류에서 성능이 뛰어나게 되는가?
• RQ2 외부 메모리 구성 요소를 통합할 경우 주의 기반 그래프 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 모델이 그래프의 일부만 관찰하도록 제한될 경우 전체 그래프 기반 모델 대비 성능 저하가 발생하는가? 그리고 주의 메커니즘이 이를 보완할 수 있는가?
• RQ4 노드 방문 순서의 단계 수 $T$ 는 모델 성능에 얼마나 민감한가?
• RQ5 랜덤 주의(즉, 랜덤 부분그래프 샘플링)가 학습된 주의 메커니즘과 유사한 성능을 낼 수 있는가? 이는 주의 메커니즘이 얼마나 가치 있는지에 대한 시사점을 제공한다.

주요 결과

• 메모리가 있는 그래프 주의 모델(GAM-mem)은 다섯 개의 그래프 분류 데이터셋에서 최고 성능을 기록했으며, 네 개의 데이터셋에서 1위, NCI-33에서 2위를 기록했다.
• GAM-mem은 GAM을 항상 능가함으로써, 외부 메모리가 여러 그래프 영역의 정보를 통합함으로써 표현 학습을 크게 향상시킨다는 것을 입증했다.
• 전체 그래프의 일부만 접근할 수 있는 상황에서도, GAM은 Agg-Attr 및 Agg-WL과 같은 전체 그래프 기반 모델들을 대부분의 데이터셋에서 능가함으로써, 선택적 주의가 전역 처리 방식보다 더 효과적이라는 것을 시사한다.
• 기본 모델들(Agg-Attr 및 Agg-WL)에 랜덤 주의를 적용하면 성능이 극적으로 떨어지며, 특히 Agg-WL은 네 개의 데이터셋에서 거의 무작위 수준으로 성능을 보였다. 이는 주의 메커니즘이 단순한 정규화 도구가 아니라 유용한 부분구조를 식별하는 핵심 메커니즘이라는 것을 증명한다.
• 짧은 보행($T \leq 3$) 조건에서도 모델은 강력한 성능을 기록했으며, 최고 성능 대비 5–6% 뿐만 못한 성능 저하를 보였다. 이는 분자의 그래프가 상대적으로 작고 국소 패턴이 매우 정보가 많다는 것을 시사한다.
• T를 늘릴수록 GAM과 GAM-mem 모두 성능 향상이 이루어지며, GAM-mem은 더 긴 시퀀스에서 가중치 메모리 풀링을 활용할 수 있어 더 큰 성능 향상을 얻는다.