[논문 리뷰] Graph2Seq: Scalable Learning Dynamics for Graphs

Shaileshh Bojja Venkatakrishnan, Mohammad Alizadeh외 1명|arXiv (Cornell University)|2018. 02. 14.

Advanced Graph Neural Networks참고 문헌 51인용 수 8

한 줄 요약

Graph2Seq는 정점들을 무한한 시간 시리즈로 표현하는 스케일러블한 그래프 표현 학습 프레임워크를 제안한다. 이는 임의의 크기와 구조를 가진 그래프로의 자연스러운 일반화를 가능하게 하며, 그래프 컨볼루션 특징에 기반한 시퀀스-투-시퀀스 RNN 아키텍처를 활용해 최소 정점 커버, 최대 컷, 최대 독립 집합 등의 조합 최적화 문제에서 최신 기술 성능을 달성한다. 이는 25,000개 정점까지의 강력한 확장성과 다양한 그래프 유형 간 제로샷 일반화를 제공한다.

ABSTRACT

Neural networks have been shown to be an effective tool for learning algorithms over graph-structured data. However, graph representation techniques---that convert graphs to real-valued vectors for use with neural networks---are still in their infancy. Recent works have proposed several approaches (e.g., graph convolutional networks), but these methods have difficulty scaling and generalizing to graphs with different sizes and shapes. We present Graph2Seq, a new technique that represents vertices of graphs as infinite time-series. By not limiting the representation to a fixed dimension, Graph2Seq scales naturally to graphs of arbitrary sizes and shapes. Graph2Seq is also reversible, allowing full recovery of the graph structure from the sequences. By analyzing a formal computational model for graph representation, we show that an unbounded sequence is necessary for scalability. Our experimental results with Graph2Seq show strong generalization and new state-of-the-art performance on a variety of graph combinatorial optimization problems.

연구 동기 및 목표

• 크고 다양한 그래프로의 확장에 있어 고정 차원 그래프 표현의 핵심 한계를 해결한다.
• 유사한 크기의 그래프에서 훈련 및 테스트되는 기존 GCNN의 열악한 일반화 성능을 극복한다.
• 매우 다른 크기와 구조를 가진 그래프에 대해 일반화 가능한 그래프 알고리즘의 엔드 투 엔드 학습을 가능하게 한다.
• 전체 구조 복원이 정점 시리즈에서 가능하도록 하는 가역적이고 정보 손실이 없는 그래프 표현을 개발한다.
• 이전 GCNN 방법들을 공통된 계산 모델(로컬-수집)으로 통합하여 고정 길이 표현의 이론적 한계를 명확히 한다.

제안 방법

• 각 정점을 연속적인 그래프 컨볼루션 레이어를 통해 생성된 은닉 상태의 시간 시리즈로 표현함으로써 고정 차원 제약을 피한다.
• 진화하는 정점 표현을 처리하고 강화 학습을 통해 의사결정 정책을 학습하기 위해 시퀀스-투-시퀀스 RNN(G2S-RNN)을 사용한다.
• 무한한 시퀀스 길이를 활용해 수신 영역 크기를 동적으로 조정함으로써 각 정점 주변의 증가하는 지름을 가진 부분 그래프를 캡처한다.
• 로컬-수집 계산 모델 내에서 Graph2Seq를 정식화하고, 고정 길이 표현이 특정 그래프 함수를 계산할 수 없다는 것을 증명한다.
• 강화 학습 프레임워크에 Q-함수를 도입하여 Q1은 모든 정점에서 공유되고 Q2(v)는 정점별로 특화된 형태로 설계함으로써 최적의 정점 커버 후보를 이진 분류할 수 있도록 한다.
• 커리큘럼 학습과 적대적 훈련을 통한 기울기 기반 최적화를 적용하여 다양한 그래프 가족 간의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 작은 그래프(예: 15–20개 정점)에서 훈련된 그래프 신경망이 매우 큰 크기(예: 3,200–25,000개 정점)와 다른 구조를 가진 그래프로 일반화 가능한가?
• RQ2 확장성과 가역성이 모두 확보된 그래프 표현을 설계할 수 있는가? 이는 원래의 그래프 구조를 완전히 복원할 수 있도록 해야 한다.
• RQ3 고정 길이 그래프 표현이 복잡한 그래프 함수를 포괄하는 데서 가지는 이론적 한계는 무엇이며, Graph2Seq는 이를 어떻게 극복하는가?
• RQ4 Graph2Seq에서 정점 상태 벡터의 동역학은 시간이 지남에 따라 어떻게 변화하는가? 그리고 주성분 분석을 통해 어떤 의미적 해석을 도출할 수 있는가?
• RQ5 강화 학습 정책 네트워크의 Q-함수는 초기 레이어에서 최적의 해를 식별할 수 있는가? 그리고 훈련이 진행됨에 따라 모델이 정확한 해로 수렴하는가?

주요 결과

• 15–20개 정점의 그래프에서 훈련된 G2S-RNN 모델은 3,200개 정점에서 성능을 유지하며 25,000개 정점까지 확장 가능한 일관된 성능을 보인다.
• 모델은 그래프 유형 간 일반화가 가능하다: 에르되시-레니 그래프에서의 성능은 재훈련 없이도 무작위 정규 및 이분 그래프로도 전이된다.
• Graph2Seq는 최소 정점 커버, 최대 컷, 최대 독립 집합 문제에서 최신 기술 성능을 달성하며, 이전의 GCNN 및 그래프 커널 기반 베이스라인을 모두 능가한다.
• 첫 번째 레이어의 Q-함수는 이미 최적의 정점 커버를 이진 Q2(v) 값으로 식별할 수 있으며, 이는 최적 집합에 포함되는지 여부를 나타낸다.
• 정점 상태의 주성분 분석은 주요 방향의 수렴과 정점 연결성과의 일치를 보여주며, 이는 의미적 해석 가능성의 가능성을 시사한다.
• 최적의 레이어 수는 그래프 유형에 따라 달라진다 — 예를 들어 무작위 그래프의 경우 4–5개 레이어, 최악의 그레디 인스턴스의 경우 15개 레이어 — 이는 고정 깊이 모델 대비 가변 길이 시퀀스의 이점을 입증한다.