[논문 리뷰] Directed Acyclic Graph Neural Networks

Veronika Thost, Jie Chen|arXiv (Cornell University)|2021. 01. 20.

Advanced Graph Neural Networks참고 문헌 34인용 수 33

한 줄 요약

DAGNN은 방향 비순환 그래프를 위한 신경망 아키텍처로, 토폴로지 순서대로 노드를 처리하고 직접 이웃의 주의 기반 집계와 GRU 기반 업데이트를 통해 DAG 중심 작업에서 최첨단 성능을 달성합니다.

ABSTRACT

Graph-structured data ubiquitously appears in science and engineering. Graph neural networks (GNNs) are designed to exploit the relational inductive bias exhibited in graphs; they have been shown to outperform other forms of neural networks in scenarios where structure information supplements node features. The most common GNN architecture aggregates information from neighborhoods based on message passing. Its generality has made it broadly applicable. In this paper, we focus on a special, yet widely used, type of graphs -- DAGs -- and inject a stronger inductive bias -- partial ordering -- into the neural network design. We propose the \emph{directed acyclic graph neural network}, DAGNN, an architecture that processes information according to the flow defined by the partial order. DAGNN can be considered a framework that entails earlier works as special cases (e.g., models for trees and models updating node representations recurrently), but we identify several crucial components that prior architectures lack. We perform comprehensive experiments, including ablation studies, on representative DAG datasets (i.e., source code, neural architectures, and probabilistic graphical models) and demonstrate the superiority of DAGNN over simpler DAG architectures as well as general graph architectures.

연구 동기 및 목표

• DAG의 부분 순서를 그래프 신경망의 강력한 귀납 편향으로 수용합니다.
• 현재 계층의 이웃 정보를 이용하여 노드 표현을 업데이트하는 DAG 특화 신경 아키텍처를 개발합니다.
• 이전 DAG 아키텍처를 공통 프레임워크 아래 통합하고 코드, 신경 아키텍처, 확률 모델에서의 DAG 데이터셋에 대한 실증적 개선을 보여줍니다.

제안 방법

• h_v^l가 현재 계층의 이웃 정보를 이용해 업데이트되는 DAG 특화 MPNN 유사 프레임워크를 방정식 (3)–(4)로 정의합니다.
• G^l를 직교 이웃 P(v)에 대한 소프트맥스 가중치가 h_v^{l-1}와 h_u^l에 의존하는 주의 기반 집계기로 설정합니다(방정식 5 및 6).
• 노드 표현을 업데이트하기 위한 순환 결합 연산자 F^l(GRU)을 사용합니다(방정식 7).
• 양방향 정보 흐름을 가능하게 하기 위해 역 DAG를 사용하여 양방향 처리도 선택적으로 수행합니다.
• 타깃 노드를 across pooling하는 읽기 연산자(또는 역 처리를 통한 소스 포함)와 계층별 표현을 연결하는(readout) 방법을 사용합니다(방정식 8).
• 메시지 계산에 엣지 유형 임베딩을 확장하여 엣지 속성을 반영합니다(방정식 9).

실험 결과

연구 질문

• RQ1 부분 순서를 활용하는 DAG 인식 GNN이 DAG 구조 데이터에서 표준 MPNN보다 표현 품질을 향상시키는가?
• RQ2 주요 설계 선택(주의 기반 vs 게이트드 합, 다층 깊이, 읽기 방식, 엣지 속성)이 DAG 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 DAGNN의 이론적 특성(치환 불변성, 주입성)은 무엇이며 토폴로지 배치와 양방향성이 효율성에 어떻게 영향을 주는가?
• RQ4 소스 코드, 신경 아키텍처, 베이지안 네트워크와 같은 다양한 DAG 도메인에서 DAGNN은 어떻게 성능을 발휘하는가?

주요 결과

• DAGNN은 TOK 및 LP 작업에서 TOK-15의 34.41 대 32.64와 같은 수치를 보이며, 대다수의 DAG 특화 및 일반 GNN 베이스라인을 능가합니다. 대부분의 베이스라인보다 LP-15에서도 우수합니다.
• 잠재 표현 작업 NA 및 BN에서 DAGNN이 최상의 RMSE와 Pearson r을 제공하며 D-VAE 및 다른 오토인코더 베이스라인을 상회합니다(NA에서 RMSE 0.264 및 r 0.964; BN에서 RMSE 0.122 및 r 0.993).
• 주목 기반 집계가 결정적이며 이를 게이트드 합으로 대체하거나 엣지 속성을 제거하면 대부분의 설정에서 성능이 저하됩니다.
• TOK-15 및 BN/NA 데이터셋에서 깊이가 두세 계층을 넘으면 수익이 감소하거나 거의 증가하지 않으며, 보통 2~3 계층이 최적의 성능을 보입니다.
• 토폴로지 배칭은 병렬 처리와 런타임 효율성을 크게 향상시키며, 가장 긴 DAG 경로 길이와 거의 같은 순차 배치를 달성합니다.
• DAGNN은 다른 DAG 베이스라인에 비해 학습 시간도 경쟁력이 있으며, 더 높은 학습률에서 수렴 속도가 더 빠릅니다.