[논문 리뷰] GRATIS: Deep Learning Graph Representation with Task-specific Topology and Multi-dimensional Edge Features

Siyang Song, Yuxin Song외 8명|arXiv (Cornell University)|2022. 11. 19.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

GRATIS는 사전 정의된 그래프 또는 비그래프 데이터와 같은 어떤 입력 데이터에서라도 병합된 정점 및 글로벌 컨텍스트 모델링을 사용해 작업별 그래프 구조와 다차원 간선 특징을 학습하는 새로운 플러그 앤 플레이 프레임워크이다. 이는 11개의 데이터셋에서 그래프 분류, 정점 분류, 링크 예측 작업 전반에서 고정된 구조와 단일 특징 기반 베이스라인보다 뛰어난 적응형이고 상호보완적인 표현을 생성함으로써 성능을 크게 향상시킨다.

ABSTRACT

Graph is powerful for representing various types of real-world data. The topology (edges' presence) and edges' features of a graph decides the message passing mechanism among vertices within the graph. While most existing approaches only manually define a single-value edge to describe the connectivity or strength of association between a pair of vertices, task-specific and crucial relationship cues may be disregarded by such manually defined topology and single-value edge features. In this paper, we propose the first general graph representation learning framework (called GRATIS) which can generate a strong graph representation with a task-specific topology and task-specific multi-dimensional edge features from any arbitrary input. To learn each edge's presence and multi-dimensional feature, our framework takes both of the corresponding vertices pair and their global contextual information into consideration, enabling the generated graph representation to have a globally optimal message passing mechanism for different down-stream tasks. The principled investigation results achieved for various graph analysis tasks on 11 graph and non-graph datasets show that our GRATIS can not only largely enhance pre-defined graphs but also learns a strong graph representation for non-graph data, with clear performance improvements on all tasks. In particular, the learned topology and multi-dimensional edge features provide complementary task-related cues for graph analysis tasks. Our framework is effective, robust and flexible, and is a plug-and-play module that can be combined with different backbones and Graph Neural Networks (GNNs) to generate a task-specific graph representation from various graph and non-graph data. Our code is made publicly available at https://github.com/SSYSteve/Learning-Graph-Representation-with-Task-specific-Topology-and-Multi-dimensional-Edge-Features.

연구 동기 및 목표

• 기존 그래프 표현 학습 방법에서의 고정된 수작업 정의된 그래프 구조와 단일 값 간선 특징의 한계를 해결한다.
• 이미지 또는 시퀀스와 같은 비그래프 데이터를 포함한 임의의 입력으로부터 작업별 적응형 그래프 구조를 생성할 수 있도록 한다.
• 작업에 맞는 관계를 인코딩하는 통합된 그래프 구조 및 풍부한 다차원 간선 특징을 함께 학습하여 후속 그래프 분석 작업의 성능을 향상시킨다.
• 다양한 데이터 유형에서 작동하며 다양한 GNN 백본과 통합 가능한 일반화 능력이 뛰어나고 견고하며 유연한 프레임워크를 제공한다.
• 작업별 그래프 구조와 다차원 간선 특징이 최적의 그래프 학습 작업 성능을 위해 상호보완적이고 필수적임을 입증한다.

제안 방법

• 그래프 정의 모듈은 사전 정의된 또는 학습된 정점 표현을 사용해 입력 데이터로부터 초깃본 원시 그래프를 구성한다.
• 작업별 구조 예측(TTP) 모듈은 정점 특징과 글로벌 컨텍스트를 사용해 확률 기반의 인접 행렬을 학습함으로써 작업 적응형 간선 존재 예측을 가능하게 한다.
• TTP 모듈은 비그래프 데이터의 작업별 정점 특징을 생성하며, 이는 최종 구조를 결정하고 표현 품질을 향상시킨다.
• 다차원 간선 특징 생성(MEFG) 모듈은 학습 가능한 네트워크를 사용해 각 연결된 정점 쌍에 대해 작업별 다차원 간선 특징을 생성한다.
• 프레임워크는 어떤 GNN 백본과도 통합되며, 교차 엔트로피 손실과 대비 손실을 함께 사용해 엔드 투 엔드 훈련을 통해 구조와 간선 특징을 동시에 최적화한다.
• 최종 그래프 표현은 학습된 구조와 다차원 간선 특징을 결합하여 형성되며, 이는 분류 또는 예측 작업을 위한 후속 GNN의 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 비그래프 데이터를 포함한 임의의 입력 데이터로부터 작업별 그래프 구조와 다차원 간선 특징을 학습할 수 있는가?
• RQ2 작업별 구조와 다차원 간선 특징은 고정된 구조와 단일 값 간선 특징에 비해 그래프 분석 작업에서 성능 면에서 어떻게 비교되는가?
• RQ3 학습된 구조와 다차원 간선 특징이 후속 작업 정확도 향상에 얼마나 잘 상호보완적인가?
• RQ4 정점 수나 스케일링 인자 C와 같은 하이퍼파rameter의 변화에 대해 프레임워크는 얼마나 견고한가?
• RQ5 다양한 GNN 백본과 효과적으로 조합될 수 있으며, 다양한 데이터셋과 작업에서 성능 향상을 이끌 수 있는가?

주요 결과

• GRATIS는 그래프 분류, 정점 분류, 링크 예측 작업에서 11개 데이터셋 전반에서 일관되게 성능을 향상시키며, 고정된 구조와 단일 특징 기반 베이스라인보다 뚜렷한 성능 향상을 보였다.
• 작업별 구조와 다차원 간선 특징의 조합이 가장 높은 성능을 기록했으며, 이는 작업에 관련된 정보를 효과적으로 캐릭터라이징하는 데서 상호보완적임을 입증한다.
• 하이퍼파ram터 C의 다양한 값에서도 안정적인 성능을 기록했으며(BP4D 및 DISFA 데이터셋에서 F1 스코어 변화율 3% 미만), 하이퍼파ram터 설정에 대한 강건성을 보였다.
• 다차원 간선 특징이 단일 차원 간선 특징보다 성능이 뛰어나, 정점 간의 복잡한 작업별 관계를 포괄하는 데 중요함을 확인했다.
• GRATIS는 다양한 GNN 백본과 예측기에서 성능 향상을 이끌었으며, 존재하는 GNN 아키텍처와의 일반화 능력과 호환성을 입증했다.
• 비그래프 데이터, 예를 들어 얼굴 액션 유닛에서도 효과적이었으며, 고정된 구조와 단일 값 특징을 사용하는 기존 방법보다 열등한 그래프 표현을 학습했다.