[논문 리뷰] Segmented Graph-Bert for Graph Instance Modeling

Jiawei Zhang|arXiv (Cornell University)|2020. 02. 09.

Advanced Graph Neural Networks참고 문헌 30인용 수 5

한 줄 요약

이 논문은 순서에 민감하지 않은 어텐션, 세그먼테이션된 입력 처리, 그리고 세 가지 통합 전략(전체 입력, 패딩/프루닝, 세그먼트 이동)을 통해 노드 순서 무관성과 변동하는 그래프 크기 문제를 해결하기 위해 재설계된 세그먼테이션된 그래프-BERT 아키텍처인 Seg-Bert를 제안한다. 이는 일곱 개의 벤치마크 데이터셋 중 여섯 개에서 최신 기준 성능을 달성하며, 그래프 인스턴스 모델링 작업에서 뛰어난 일반화 및 이식 가능성(transferability)을 입증한다.

ABSTRACT

In graph instance representation learning, both the diverse graph instance sizes and the graph node orderless property have been the major obstacles that render existing representation learning models fail to work. In this paper, we will examine the effectiveness of GRAPH-BERT on graph instance representation learning, which was designed for node representation learning tasks originally. To adapt GRAPH-BERT to the new problem settings, we re-design it with a segmented architecture instead, which is also named as SEG-BERT (Segmented GRAPH-BERT) for reference simplicity in this paper. SEG-BERT involves no node-order-variant inputs or functional components anymore, and it can handle the graph node orderless property naturally. What's more, SEG-BERT has a segmented architecture and introduces three different strategies to unify the graph instance sizes, i.e., full-input, padding/pruning and segment shifting, respectively. SEG-BERT is pre-trainable in an unsupervised manner, which can be further transferred to new tasks directly or with necessary fine-tuning. We have tested the effectiveness of SEG-BERT with experiments on seven graph instance benchmark datasets, and SEG-BERT can out-perform the comparison methods on six out of them with significant performance advantages.

연구 동기 및 목표

• 그래프 인스턴스 표현 학습에서 발생하는 노드 순서 무관성과 변동하는 그래프 크기 문제를 해결한다.
• 깊은 아키텍처에서 성능이 저하되고 순서 무관성 문제를 해결하기 어려운 기존 GNN 및 GCN 기반 모델의 한계를 극복한다.
• 다양한 그래프 인스턴스 크기를 세그먼테이션 아키텍처와 함께 다수의 입력 전략을 통해 통합함으로써 확장성 있고 효율적인 학습을 가능하게 한다.
• 그래프 인스턴스 작업을 위한 비지도 사전 학습과 전이 학습을 가능하게 하여 반복적인 학습과 자원 낭비를 줄인다.
• 노드 수준과 그래프 수준의 표현 학습을 하나의 프레임워크 안에서 통합하여 다양한 데이터셋 간 모델 이식을 지원한다.

제안 방법

• 노드 순서에 민감한 구성 요소를 제거하고, 자가 어텐션과 순서에 민감하지 않은 입력에만 의존하여 노드 순서 무관성 문제를 해결하도록 그래프-BERT를 재설계한다.
• 크기가 큰 그래프를 고정된 크기 k의 처리 가능한 입력 포털로 나누는 세그먼테이션 아키텍처를 구현하여 확장 가능한 처리를 가능하게 한다.
• 세 가지 그래프 크기 통합 전략을 도입한다: 전체 입력(전체 그래프), 패딩/프루닝(자르기 또는 0 패딩), 세그먼트 이동(중첩되는 슬라이딩 윈도우).
• 노드 속성이 없는 경우 그래프 인접성 링크를 고정 순서의 입력으로 재도입하여 구조 정보를 유지한다.
• 노드별 타겟 노드 잔차 대신, 그래프 또는 세그먼트의 모든 노드를 기반으로 계산된 글로벌 그래프 잔차 항을 사용하여 표현 학습을 향상시킨다.
• 노드 속성 복원, 그래프 구조 복원, 그래프 분류와 같은 하류 작업에서의 미세조정을 위한 비지도 사전 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 인스턴스 데이터에 내재된 노드 순서 무관성 문제를 효과적으로 해결하기 위해 그래프-BERT를 재설계할 수 있는가?
• RQ2 다양한 그래프 크기 통합 전략(전체 입력, 패딩/프루닝, 세그먼트 이동)이 모델 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 사전 학습된 Seg-Bert 모델이 크기와 구조가 다양한 다양한 그래프 인스턴스 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ4 노드 속성이 없는 상황에서 글로벌 그래프 잔차 항을 포함하면 표현 학습 성능이 향상되는가?
• RQ5 Seg-Bert가 그래프 인스턴스 분류, 복원, 표현 학습 작업에서 최신 기준 모델을 초월할 수 있는가?

주요 결과

• Seg-Bert는 IMDB-Binary에서 75.40%의 정확도를 기록하며, DGCNN 및 CapsGNN와 같은 기존 방법들을 크게 앞서는 성능을 보이며 일곱 개의 벤치마크 데이터셋 중 여섯 개에서 최신 기준 성능을 달성한다.
• 세그먼트 이동 전략은 전체 입력 전략과 유사한 성능를 기록하지만 훨씬 더 적은 학습 시간과 더 적은 더미 패딩을 요구하여 효율성과 효과성 면에서 패딩/프루닝 전략을 능가한다.
• 전체 입력 전략는 가장 높은 성능를 기록하지만, COLLAB, PROTEINS, NCI1에서 10겹 교차 검증을 위해 3일 이상의 초과된 학습 비용을 유발하여 큰 그래프에선 실용적이지 않다.
• 원시 잔차 항은 MUTAG에서 성능 향상을 보였지만 다른 데이터셋에선 제한적인 성능 향상을 보였으며, 이는 노드 속성이 없는 그래프에서 희박한 인접성 임베딩 때문일 가능성이 높다.
• 드롭아웃과 가중치 감쇠 조치가 있더라도 그래프 인스턴스 분류 모델은 빠르게 과적합되기 때문에 검증 세트 기반의 조기 정지가 필수적이다.
• 사전 학습된 Seg-Bert 모델은 효과적인 전이 학습을 가능하게 하여 반복적인 학습을 줄이고, 최소한의 재학습으로 새로운 작업에 직접 또는 미세조정된 방식으로 배포할 수 있다.