[논문 리뷰] Modeling Attention Flow on Graphs

Xiaoran Xu, Songpeng Zu외 3명|arXiv (Cornell University)|2018. 11. 01.

Advanced Graph Neural Networks참고 문헌 34인용 수 6

한 줄 요약

이 논문은 그래프에서 추론 과정을 명시적으로 추적함으로써 주어진 시간에 따라 주의가 어떻게 변화하는지를 모델링하기 위해 주의 흐름 메커니즘을 제안한다. 이는 그래프 네트워크의 메시지 전달과 통합되어 예측 정확도와 해석 가능성 모두를 향상시킨다. 이 방법은 표준 그래프 네트워크와 무작위 보행 기반 모델보다 뛰어나며, 비선형 변환을 통해 메시지 전달과 주의 흐름이 서로 뒤로 영향을 주는 경우에 특히 뛰어나다.

ABSTRACT

Real-world scenarios demand reasoning about process, more than final outcome prediction, to discover latent causal chains and better understand complex systems. It requires the learning algorithms to offer both accurate predictions and clear interpretations. We design a set of trajectory reasoning tasks on graphs with only the source and the destination observed. We present the attention flow mechanism to explicitly model the reasoning process, leveraging the relational inductive biases by basing our models on graph networks. We study the way attention flow can effectively act on the underlying information flow implemented by message passing. Experiments demonstrate that the attention flow driven by and interacting with graph networks can provide higher accuracy in prediction and better interpretation for trajectory reasoning.

연구 동기 및 목표

• 최종 결과 예측을 넘어서 추론 과정을 명시적으로 해석 가능한 방식으로 모델링하는 방법을 개발하기 위해.
• 주의 메커니즘을 그래프 네트워크의 메시지 전달과 통합하여 동적이고 과정 기반의 추론을 모델링하기 위해.
• 뒤로 작용하는 주의가 메시지 전달을 어떻게 향상시키고 모델 성능을 향상시킬 수 있는지 조사하기 위해.
• 시작 노드와 도착 노드만 관찰 가능한 궤적 추론 작업에서 접근법을 평가하기 위해.
• 그래프 구조 데이터에서 추론 경로를 명확하고 가시화 가능한 방식으로 제공하기 위해.

제안 방법

• 주의 흐름 메커니즘은 시간에 따라 변화하는 주의 단계의 시퀀스로 추론을 모델링하며, 이는 그래프 네트워크의 메시지 전달에서 유도된다.
• 잠재적 방향 함수에서 유도된 시간에 따라 변화하는 전이 행렬이 학습되어 그래프 노드 간 주의 흐름을 안내한다.
• 주의 흐름은 학습된 주의 가중치를 사용하여 메시지 전달을 곱하기와 비선형 변환을 통해 역방향으로 조절함으로써 메시지 전달에 영향을 준다.
• 다중 헤드 주의 메커니즘이 그래프 이웃 영역에 대해 사용되며, 시간 단계 간 정규화 및 집계가 이루어진다.
• 손상된 격자 세계 환경에서 누락된 간선이나 노드가 있는 궤적 추론 작업에 대해 엔드 투 엔드로 모델을 훈련시킨다.
• 뒤로 작용하는 상호작용 메커니즘은 세 가지 변형으로 평가된다: 작용 없음, 곱하기 전용, 곱하기 이후 비선형 변환

실험 결과

연구 질문

• RQ1 무작위 보행 기반 모델과 비교해 볼 때, 명시적인 주의 흐름 모델링이 그래프 구조 데이터에서 추론 성능을 향상시킬 수 있는가?
• RQ2 주의 흐름이 메시지 전달과 뒤로 상호작용함으로써 모델 정확도와 해석 가능성은 향상되는가?
• RQ3 뒤로 작용하는 주의에 대해 어떤 메커니즘이 가장 뛰어난 성능을 낼 수 있는가—곱하기, 비선형 변환, 또는 그 조합인가?
• RQ4 학습된 주의 흐름이 그래프 환경에서 진짜 잠재적 원인 궤적과 얼마나 잘 일치하는가?
• RQ5 상수, 시간에 따라 변하는, 위치에 따라 변하는, 이력에 따라 변하는 다양한 동적 방향 함수 유형에 대해 모델이 일반화 가능한가?

주요 결과

• FullGN-MulMlp 모델은 SINE-SZ32-STP16-NDRP-STD 데이터셋에서 H@1 16.25%와 MRR 0.3493를 기록하여 기준 모델인 GAT과 GGNN보다 뛰어났다.
• 0.2의 노이즈가 있는 64×64 격자 세계 데이터셋에서 LOCATION 작업에서 GGNN-MulMlp는 H@1 44.01%와 MRR 0.6286을 기록하여 표준 GGNN(22.59% H@1)보다 유의미하게 뛰어났다.
• 곱하기 이후 비선형 변환을 적용한 MulMlp 메커니즘이 항상 작용 없음과 단순 곱하기보다 뛰어나 성능 향상이 뚜렷했다. 이는 뒤로 작용하는 상호작용에서의 효과성을 시사한다.
• 시각화 결과에서 학습된 주의 흐름은 출발지에서 도착지로 일관된 벨트 형태로 형성되었으며, 특히 상수 및 시간에 따라 변하는 방향의 경우 진짜 궤적과 매우 유사하게 나타났다.
• 주의 흐름은 가끔 갭 근처 영역을 탐색하기 위해 분기하는 경향을 보여, 불완전한 그래프 구조에서 적응형 탐색 행동을 보임을 시사한다.
• 명시적인 주의 흐름을 통한 모델은 복잡하고 노이즈가 많은 환경에서 표준 그래프 네트워크보다 더 높은 정확도와 더 나은 해석 가능성을 확보했다.