[논문 리뷰] Neural Graph Machines: Learning Neural Networks Using Graphs

Thang D. Bui, Sujith Ravi외 1명|arXiv (Cornell University)|2017. 03. 14.

Advanced Graph Neural Networks참고 문헌 12인용 수 26

한 줄 요약

이 논문은 신경망 학습과 레이블 전파를 결합하여 준지도 학습 작업에서 성능을 향상시키는 그래프 정규화 학습 프레임워크인 신경 그래프 기계(NGM)를 소개한다. 그래프 구조 데이터를 손실 함수에 통합함으로써 NGM은 확률적 경사 하강법을 통한 효율적이고 확장 가능한 학습을 가능하게 하며, 다양한 아키텍처(FFNN, CNN, LSTM)와 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 특히 레이블이 적은 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Label propagation is a powerful and flexible semi-supervised learning technique on graphs. Neural networks, on the other hand, have proven track records in many supervised learning tasks. In this work, we propose a training framework with a graph-regularised objective, namely "Neural Graph Machines", that can combine the power of neural networks and label propagation. This work generalises previous literature on graph-augmented training of neural networks, enabling it to be applied to multiple neural architectures (Feed-forward NNs, CNNs and LSTM RNNs) and a wide range of graphs. The new objective allows the neural networks to harness both labeled and unlabeled data by: (a) allowing the network to train using labeled data as in the supervised setting, (b) biasing the network to learn similar hidden representations for neighboring nodes on a graph, in the same vein as label propagation. Such architectures with the proposed objective can be trained efficiently using stochastic gradient descent and scaled to large graphs, with a runtime that is linear in the number of edges. The proposed joint training approach convincingly outperforms many existing methods on a wide range of tasks (multi-label classification on social graphs, news categorization, document classification and semantic intent classification), with multiple forms of graph inputs (including graphs with and without node-level features) and using different types of neural networks.

연구 동기 및 목표

• 그래프 기반 준지도 학습을 딥 신경망과 통합하는 통합적이고 확장 가능한 학습 프레임워크를 개발하는 것.
• 레이블이 있는 데이터와 그래프로 연결된 무 supervising 데이터를 함께 사용하여 신경망을 공동으로 학습시켜, 데이터가 적은 환경에서 일반화 성능을 향상시키는 것.
• 기존의 그래프 보강 학습 방법을 피드포워드, 컨volutional, 순환 네트워크를 포함한 다양한 신경망 아키텍처에 일반화하는 것.
• 분리된 그래프 임베딩 및 분류 단계를 포함하는 고비용 이중 단계 파ip라인을 피하는 종단 간 학습 접근법을 제공하는 것.
• 기본 신경망에 비해 더 빠르고 작으며 정확도가 높은 모델을 얻을 수 있도록 그래프 정규화가 가능하다는 것을 입증하는 것.

제안 방법

• NGM 프레임워크는 표준 지도 학습 손실과 레이블 전파에서 영감을 얻은 그래프 정규화 항을 조합한 공동 학습 목표 함수를 도입한다.
• 그래프 정규화 항은 그래프 내 연결된 노드들 간에 유사한 은닉 표현을 강제하여 그래프 구조에 따라 매끄럽게 유지되도록 한다.
• 목표 함수는 미분 가능하며 확률적 경사 하강법에 적합하여 간선 수에 대해 선형 시간 복잡도로 큰 그래프에서 효율적으로 학습이 가능하다.
• 이 방법은 인덕티브 및 트랜스덕티브 설정을 모두 지원하며, 노드 수준의 특징이 있는지 여부와 관계없이 그래프를 처리할 수 있다.
• 노드 특징과 그래프 구조가 신경망의 입력으로 함께 사용되며, 인접 행렬이 직접적으로 정규화에 영향을 준다.
• 이 프레임워크는 인용 네트워크, 유사도 그래프, 지식 그래프에서 유도된 관계 등 다양한 그래프 유형을 지원한다.

실험 결과

연구 질문

• RQ1 그래프 정규화 학습이 준지도 학습 환경에서 신경망의 성능을 향상시킬 수 있는가?
• RQ2 제안된 프레임워크가 FFNN, CNN, LSTM과 같은 다양한 신경망 아키텍처로 일반화될 수 있는가?
• RQ3 그래프 정규화를 통한 신경망 공동 학습이, 먼저 임베딩을 학습하고 나서 분류기를 별도로 훈련하는 이중 단계 접근법보다 우수한가?
• RQ4 레이블이 적은 경우(예: 각 클래스당 20개의 레이블) 이 방법의 효과는 어떠한가?
• RQ5 큰 그래프에 대해 효율적으로 확장하면서도 높은 성능을 유지할 수 있는가?

주요 결과

• NGM-FFNN 모델은 PubMed 인용 네트워크 데이터셋에서 75.9%의 정확도를 달성하여, 더 복잡한 아키텍처를 사용한 Planetoid-I를 제외한 모든 베이스라인을 능가했다.
• 낮은 샘플 환경(클래스당 20개의 레이블)에서 NGM는 표준 FFNN과 레이블 전파, 다각도 정규화와 같은 다른 준지도 학습 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 더 단순하고 종단 간 학습 프로세스를 통해 경쟁적인 성능을 달성했으며, 사전 학습된 그래프 임베딩과 별도의 분류기를 사용하는 이중 단계 방법을 뛰어넘었다.
• 다양한 작업에서 일관된 향상 효과를 보였으며, 소셜 그래프의 다중 레이블 분류, 뉴스 분류, 의미적 의도 분류 등에 적용되었다.
• 더 작고 빠른 신경망을 훈련시켜 더 큰 비그래프 보강 모델에 비해 성능을 충족하거나 초월할 수 있도록 했다.
• 제거 실험을 통해 그래프 정규화 항이 성능 향상에 필수적임을 확인했으며, 특히 레이블 데이터가 부족할 경우 더욱 두드러졌다.