[논문 리뷰] Gated Graph Sequence Neural Networks

Yujia Li, Daniel Tarlow외 2명|arXiv (Cornell University)|2015. 11. 17.

Advanced Graph Neural Networks참고 문헌 34인용 수 446

한 줄 요약

이 논문은 그래프 구조화된 입력을 처리하고 순차적 출력을 생성하기 위해 게이팅된 순환 단위를 사용하는 그래프 신경망의 확장인 게이팅된 그래프 시퀀스 신경망(GGS-NNs)을 소개한다. 모델은 하위 그래프를 논리적 데이터 구조로 기술하는 방식으로 프로그램 검증 작업에서 최신 기술 성능을 달성하며, 수작업으로 설계된 특징 방법보다도 정확도를 유지하면서도 슈퍼리어하다.

ABSTRACT

Graph-structured data appears frequently in domains including chemistry, natural language semantics, social networks, and knowledge bases. In this work, we study feature learning techniques for graph-structured inputs. Our starting point is previous work on Graph Neural Networks (Scarselli et al., 2009), which we modify to use gated recurrent units and modern optimization techniques and then extend to output sequences. The result is a flexible and broadly useful class of neural network models that has favorable inductive biases relative to purely sequence-based models (e.g., LSTMs) when the problem is graph-structured. We demonstrate the capabilities on some simple AI (bAbI) and graph algorithm learning tasks. We then show it achieves state-of-the-art performance on a problem from program verification, in which subgraphs need to be matched to abstract data structures.

연구 동기 및 목표

• 그래프 구조화된 문제에 대해 순차적 출력을 생성할 수 없는 기존 그래프 신경망 모델의 격차를 보완하기 위해.
• 생성 과정 중 부분적이고 나머지 출력 시퀀스 상태를 추적하면서 그래프의 표현을 학습하는 모델을 개발하기 위해.
• 프로그램 검증에서 수작업으로 설계된 특징을 제거하고 종단 간 학습이 가능한 신경망으로 대체하기 위해.
• bAbI 및 그래프 알고리즘 학습과 같은 그래프 구조화된 입력을 포함하는 추론 작업에서 모델의 효과성을 입증하기 위해.
• 프로그램 검증에서 메모리 상태 그래프로부터 논리적 기술을 학습할 수 있는 GGS-NNs의 능력을 입증하기 위해.

제안 방법

• 기존의 순환 단위를 게이팅된 순환 단위(GRUs)로 대체하여 순차 모델링 성능을 향상시킨 그래프 신경망(GNNs)의 확장.
• 노드 표현을 그래프 표현과 시퀀스 컨텍스트를 모두 인코딩하는 은닉 상태를 유지함으로써 GNN 프레임워크를 순차적 출력 생성을 지원하도록 적응.
• 노드 표현을 그래프 간선을 따라 메시지 전파를 통해 GRU 기반 업데이트 함수를 사용하여 업데이트하는, 미분 가능하고 종단 간 학습 절차의 사용.
• 출력 레이어에서 컨텍스트 인식 주의 메커니즘을 통합하여 순차적 생성 중 관련 노드에 집중.
• 사용된 노드를 추적하기 위해 노드 애너테이션을 활용하여 입력 그래프 요소의 전체 커버리지를 보장.
• 메모리 상태 그래프를 추상적 데이터 구조 기술로 매핑하여 경로 생성, 논리 공식 합성, 프로그램 검증 등의 작업에 모델을 적용.

실험 결과

연구 질문

• RQ1 그래프 신경망은 단순히 그래프 수준 예측을 넘어서 순차적 출력을 생성하도록 확장될 수 있는가?
• RQ2 그래프 구조화된 입력을 처리하는 동안 현재 시퀀스 상태와 남은 출력을 생성할 상태를 모두 유지할 수 있는가?
• RQ3 GGS-NNs는 수작업으로 설계된 특징에 의존하지 않고 프로그램 검증에서 복잡한 데이터 구조를 기술하는 데 성공할 수 있는가?
• RQ4 GGS-NN 아키텍처는 순차적 출력을 가지는 그래프 구조화된 데이터에 대한 추론에 어떤 인덕티브 바이어스를 제공하는가?
• RQ5 논리적 추론이 필요한 그래프 구조화된 입력을 포함하는 작업에서 기존 방법과 비교해 모델의 성능은 어떠한가?

주요 결과

• GGS-NNs는 하위 그래프를 논리적 데이터 구조로 기술하는 프로그램 검증 작업에서 최신 기술 성능을 달성하며, 수작업으로 설계된 특징에 의존하는 시스템과 동일한 정확도를 유지한다.
• 모델은 경로나 논리 공식과 같은 시퀀스를 그래프 구조화된 입력에서 성공적으로 생성하여 그래프에서의 순차적 추론 능력을 입증한다.
• 게이팅된 순환 단위의 사용은 표준 GNN보다 순차 모델링 성능을 향상시켜 그래프 구조화된 시퀀스에서 장거리 의존성을 더 잘 학습할 수 있도록 한다.
• 모델은 bAbI 추론 작업과 그래프 알고리즘 학습을 포함한 다양한 작업에 대해 잘 일반화되어 있어 광범위한 적용 가능성을 보여준다.
• GGS-NNs는 프로그램 검증에서 복잡한 특징 엔지니어링 파이프라인을 종단 간 학습이 가능한 신경망으로 대체할 수 있으며, 높은 정확도를 유지하면서도 학습 용이성을 향상시킨다.