[논문 리뷰] GNN-FiLM: Graph Neural Networks with Feature-wise Linear Modulation

Marc Brockschmidt|arXiv (Cornell University)|2019. 06. 28.

Machine Learning in Materials Science참고 문헌 21인용 수 44

한 줄 요약

GNN-FiLM은 그래프 신경망에 특성별 선형 변조를 도입하여 대상 노드 조건의 요소별 선형 변환을 들어오는 메시지에 적용하고, 다양한 작업에서 경쟁력 있는 성능을 보여준다.

ABSTRACT

This paper presents a new Graph Neural Network (GNN) type using feature-wise linear modulation (FiLM). Many standard GNN variants propagate information along the edges of a graph by computing "messages" based only on the representation of the source of each edge. In GNN-FiLM, the representation of the target node of an edge is additionally used to compute a transformation that can be applied to all incoming messages, allowing feature-wise modulation of the passed information. Results of experiments comparing different GNN architectures on three tasks from the literature are presented, based on re-implementations of baseline methods. Hyperparameters for all methods were found using extensive search, yielding somewhat surprising results: differences between baseline models are smaller than reported in the literature. Nonetheless, GNN-FiLM outperforms baseline methods on a regression task on molecular graphs and performs competitively on other tasks.

연구 동기 및 목표

• 메시지 전달 과정에서 소스 노드와 타깃 노드로부터 정보를 통합하는 방법을 고안하고 개선한다.
• 다중 관계 그래프에 일반적으로 사용되는 GNN 형식을 일반화한다.
• 통합 프레임워크 아래 FiLM 기반의 새로운 GNN 변형(GNN-FiLM) 및 관련 베이스라인을 제안하고 평가한다.
• 간단한 베이스라인과 광범위한 하이퍼파라미터 튜닝이 최첨단 GNN과의 차이를 좁히는지 평가한다.

제안 방법

• 대상 노드 의존의 요소별 선형 변환으로 들어오는 메시지를 변조하는 GNN-FiLM을 제안한다.
• 하이퍼네트워크 g를 사용해 FiLM 매개변수(beta와 gamma)를 대상 노드 표현으로부터 계산한다.
• 업데이트를 h_v^{(t+1)} = sigma(sum_{u->v in E} (gamma_{l,v}^{(t)} ⊙ (W_l h_u^{(t)}) + beta_{l,v}^{(t)}))로 표현한다.
• GNN-FiLM을 RGDCN, R-GCN, R-GIN, GAT 및 강력한 GNN-MLP 베이스라인과 비교한다.
• 카운팅과 같은 작업에서 개선하기 위해 집계 전에 비선형성을 적용하는 변형을 조사하고 안정성 고려사항을 논의한다.
• 소형 및 대형 그래프에서 분류, 회귀 및 순위 지정 등 다양한 작업을 선보인다.

실험 결과

연구 질문

• RQ1 FiLM 기반 변조가 전통적인 메시지 전달에 비해 성능을 향상시키는가?
• RQ2 GNN-FiLM이 일관된 하이퍼파라미터 최적화 하에 기존 베이스라인(GNN 변형 및 GNN-MLP)과 어떻게 비교되는가?
• RQ3 집계 전에 비선형성을 적용하는 것이 작업 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 간단한 베이스라인(GNN-MLP)이 표준 GNN 벤치마크에서 최첨단 모델과 일치하거나 능가할 수 있는가?
• RQ5 다중 관계 확장(RGDCN, RGAT, RGIN)이 FiLM 변조와 작업 간 어떻게 상호 작용하는가?

주요 결과

• 하이퍼파라미터를 신중하게 최적화하면 최첨단 GNN의 성능 격차가 일반적으로 보고되는 것보다 작다.
• 소스 및 대상 표현을 연결한 간단한 GNN-MLP 베이스라인은 종종 많은 발표된 모델보다 더 우수한 성능을 보인다.
• GNN-FiLM은 테스트된 작업에서 GNN-MLP 베이스라인과 경쟁력 있거나 그 이상이다.
• GNN-FiLM은 분자 그래프 회귀 작업에서 우수한 성능을 달성한다.
• 작업 전반에 걸쳐 여러 베이스라인 아키텍처 간 차이는 이전 문헌에서 일반적으로 주장되는 것보다 작다.