[논문 리뷰] Graph-Aware Transformer: Is Attention All Graphs Need?

Sanghyun Yoo, Young Seok Kim외 5명|arXiv (Cornell University)|2020. 06. 09.

Machine Learning in Materials Science참고 문헌 43인용 수 6

한 줄 요약

GRAT은 그래프 간 학습을 위한 엔드 투 엔드 Transformer 기반 모델로, 자기주의 어텐션을 명시적인 간선 정보로 향상시키고 노드 및 간선 생성을 위한 이중 경로 순차적 디코딩 메커니즘을 사용한다. QM9 벤치마크의 4개 회귀 과제에서 최고 성능을 기록하며, Transformer가 일반적인 그래프 응용 분야에서 강력한 잠재력을 지닌다는 것을 입증한다.

ABSTRACT

Graphs are the natural data structure to represent relational and structural information in many domains. To cover the broad range of graph-data applications including graph classification as well as graph generation, it is desirable to have a general and flexible model consisting of an encoder and a decoder that can handle graph data. Although the representative encoder-decoder model, Transformer, shows superior performance in various tasks especially of natural language processing, it is not immediately available for graphs due to their non-sequential characteristics. To tackle this incompatibility, we propose GRaph-Aware Transformer (GRAT), the first Transformer-based model which can encode and decode whole graphs in end-to-end fashion. GRAT is featured with a self-attention mechanism adaptive to the edge information and an auto-regressive decoding mechanism based on the two-path approach consisting of sub-graph encoding path and node-and-edge generation path for each decoding step. We empirically evaluated GRAT on multiple setups including encoder-based tasks such as molecule property predictions on QM9 datasets and encoder-decoder-based tasks such as molecule graph generation in the organic molecule synthesis domain. GRAT has shown very promising results including state-of-the-art performance on 4 regression tasks in QM9 benchmark.

연구 동기 및 목표

• 다양한 그래프 데이터 응용 분야를 위한 전체 그래프의 인코딩과 디코딩이 가능한 일반 목적의 엔드 투 엔드 Transformer 기반 모델을 개발하기 위해.
• 표준 Transformer가 비순차적 그래프 데이터와 호환되지 않는 문제를 해결하기 위해 자기주의 어텐션을 명시적인 간선 정보를 고려하도록 수정함으로써.
• 서브그래프 인코딩과 노드-간선 생성을 동시에 모델링하는 새로운 이중 경로 순차적 디코딩 메커니즘을 통해 효과적인 그래프 생성을 가능하게 하기 위해.
• 그래프 성질 예측 및 그래프 생성 과제에서 전체 Transformer 아키텍처(인코더 및 디코더 포함)의 효과성을 평가하기 위해.
• 그래프에 적응된 다중 헤드 자기주의 어텐션 기반 아키텍처가 일반적인 그래프 학습을 위한 타당하고 강력한 기초가 될 수 있는지 확인하기 위해.

제안 방법

• 쿼리-키 상호작용 중에 간선 특징을 고려하도록 어텐션 계산을 수정하여 다중 헤드 자기주의 어텐션 메커니즘에 명시적인 간선 정보를 통합한다.
• 노드 토큰의 시퀀스를 입력으로 사용하며, 응용 분야의 필요에 따라 노드 순서를 선택적으로 설정하고, 학습된 어텐션 가중치를 통해 이웃 노드를 동적으로 가중치를 부여한다.
• 이중 경로 디코딩 메커니즘을 구현: 한 경로는 현재 서브그래프를 인코딩하고, 다른 경로는 순차적으로 다음 노드와 그에 연결된 간선을 생성한다.
• 학습 가능한 노드 임베딩 초기화 및 백프로파게이션을 전체 그래프 생성 과정 전반에 걸쳐 허용하는 미분 가능한 생성 전략을 도입한다.
• 생성 과제와 회귀 과제에 각각 교차 엔트로피 손실과 평균 제곱 오차 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 훈련 및 추론 중 계산 비용을 제어하기 위해 고정된 힙 이웃 샘플링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 표준 Transformer 아키텍처에 간선 정보를 통합함으로써 그래프 구조적 데이터를 효과적으로 다룰 수 있는가?
• RQ2 엔드 투 엔드 Transformer 기반 모델이 그래프 표현 학습과 구조적 그래프 생성을 동시에 수행할 수 있는가?
• RQ3 제안된 엣지 인식 자기주의 어텐션 메커니즘이 표준 GNN 및 어텐션 기반 GNN 변종 대비 그래프 구조를 얼마나 잘 포착하는가?
• RQ4 이중 경로 순차적 디코딩 메커니즘이 복잡한 그래프를 정확한 노드 및 간선 속성으로 생성할 수 있는가, 특히 대규모 설정에서도 성능이 유지되는가?
• RQ5 전체 인코더-디코더 Transformer 아키텍처가 그래프 성질 예측 및 분자 구조 생성 과제에서 기존의 그래프 간 모델보다 우수한 성능을 보일 수 있는가?

주요 결과

• GRAT은 QM9 벤치마크의 네 가지 회귀 과제에서 최고 성능을 기록하며 그래프 표현 학습 능력이 뛰어나다는 것을 입증하였다.
• 모델는 분자 성질 예측에서 기존 방법을 능가하여 엣지 인식 자기주의 어텐션 메커니즘이 분자 그래프 내의 구조적 종속성을 효과적으로 포착한다는 것을 시사한다.
• GRAT은 유기 분자 합성에 그래프 간 번역 프레임워크를 성공적으로 적용하여 제품 예측 과제에서 경쟁 가능한 성능을 달성하였다.
• 이중 경로 순차적 디코딩 메커니즘은 정확한 노드 및 간선 구조를 가진 새로운 그래프의 효과적이고 제어 가능한 생성을 가능하게 하였다.
• 제거 분석 결과, 자기주의 어텐션에 명시적인 간선 정보를 통합함으로써 표준 어텐션 메커니즘 대비 성능 향상이 뚜렷하게 향상됨을 확인하였다.
• GRAT의 일반적인 아키텍처는 강력한 전이 가능성(transferability)을 보이며, 화학 외에도 지식 그래프 및 물리 시스템과 같은 다양한 그래프 응용 분야에서의 적용 가능성을 시사한다.