[논문 리뷰] Deep Loopy Neural Network Model for Graph Structured Data Representation Learning

Jiawei Zhang|arXiv (Cornell University)|2018. 05. 19.

Advanced Graph Neural Networks참고 문헌 30인용 수 5

한 줄 요약

이 논문은 그래프 구조 데이터 표현 학습을 위한 딥 루프 신경망(LNN)을 제안하며, 순환 구조로 인한 학습 과제를 해결하기 위해 k-호프 루트 기반 스패닝 트리에서 오차를 역전파하는 방법을 사용한다. 이 방법은 여러 실세계 그래프 데이터셋에서 MSE, MAE, LRS 지표에서 기존의 기준 모델인 DeepWalk, LINE, HPE를 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Existing deep learning models may encounter great challenges in handling graph structured data. In this paper, we introduce a new deep learning model for graph data specifically, namely the deep loopy neural network. Significantly different from the previous deep models, inside the deep loopy neural network, there exist a large number of loops created by the extensive connections among nodes in the input graph data, which makes model learning an infeasible task. To resolve such a problem, in this paper, we will introduce a new learning algorithm for the deep loopy neural network specifically. Instead of learning the model variables based on the original model, in the proposed learning algorithm, errors will be back-propagated through the edges in a group of extracted spanning trees. Extensive numerical experiments have been done on several real-world graph datasets, and the experimental results demonstrate the effectiveness of both the proposed model and the learning algorithm in handling graph data.

연구 동기 및 목표

• 그래프 구조 데이터에서 순환 구조를 가진 딥 신경망을 학습하는 데 있어 근본적인 과제를 해결하기 위해.
• 기존의 역전파 방법이 순환 의존성으로 인해 실패하는 깊은 루프 신경망에서 효과적인 오차 역전파를 가능하게 하는 학습 알고리즘을 개발하기 위해.
• 입력 그래프의 구조적 복잡성을 유지하면서 동시에 엔드 투 엔드 학습을 가능하게 하는 모델을 설계하기 위해.
• 다양한 실세계 그래프 데이터셋에서 제안된 모델과 학습 알고리즘의 경험적 검증을 수행하기 위해.

제안 방법

• 딥 루프 신경망(LNN)은 입력 그래프를 기반으로 구성되며, 뉴런은 노드에 매핑되고 연결 관계는 간선에 의해 정의되어 내부층 간 및 층 간 연결을 형성한다.
• 모델은 입력층, 은닉층, 출력층을 포함하는 계층적 아키텍처를 가지며, 은닉 상태는 입력과 이웃 상태의 가중합에 비선형 활성화 함수를 적용하여 계산된다.
• 순환 구조가 존재하는 상황에서도 학습을 가능하게 하기 위해, 그래프에서 k-호프 부분그래프와 k-호프 루트 기반 스패닝 트리를 추출하여 비순환 경로를 통한 오차 역전파를 가능하게 한다.
• 오차 역전파가 이러한 스패닝 트리의 간선을 따라 수행되어, 기존의 역전파를 방해하는 순환 의존성을 분리한다.
• 손실 함수는 노드 단위 손실(예: MSE 또는 교차 엔트로피)의 합으로 정의되며, 스패닝 트리 기반 오차 흐름을 사용하여 경사 하강법으로 최소화된다.
• 평가를 위해 학습된 표현 위에 다층 퍼셉트론(MLP)을 사용하여 분류기를 구성한다.

실험 결과

연구 질문

• RQ1 순환 구조로 인해 변수 간 의존성이 해결 불가능해지는 상황에서, 루프를 가진 딥 신경망이 오차 역전파를 효과적으로 학습할 수 있는가?
• RQ2 그래프 기반 신경망 아키텍처에서 추출된 스패닝 트리가 순환 구조가 존재하는 상황에서도 안정적이고 효과적인 역전파를 가능하게 하는가?
• RQ3 제안된 딥 루프 신경망은 실세계 데이터셋에서 최신 기술 수준의 그래프 표현 학습 방법보다 성능이 뛰어나게 되는가?
• RQ4 제안된 학습 알고리즘이 순환 구조로 인한 학습 불안정성을 해결하면서도 모델 성능을 유지하거나 향상시키는가?

주요 결과

• Foursquare 데이터셋에서 LNN은 가장 낮은 MSE(0.002 ± 0.001)와 MAE(0.003 ± 0.001)를 기록하여 두 지표에서 1위를 차지했다.
• Twitter 데이터셋에서 LNN은 MSE = 0.001 ± 0.001, MAE = 0.002 ± 0.001, LRS = 0.276 ± 0.0013을 기록하여 세 지표 모두에서 1위를 차지했다.
• Douban 및 IMDB 데이터셋에서 LNN은 모든 평가 지표에서 평균 순위 1.0을 기록하여 일관된 우수성을 입증했다.
• Foursquare 데이터셋에서 LNN의 MSE는 두 번째로 우수한 방법(MF)보다 7.8% 낮았고, App보다는 30% 낮아 상당한 향상을 보였다.
• Foursquare에서 MSE에서는 HPE와 BPR에 뒤지긴 했지만, MAE와 LRS에서는 여전히 우수한 성능을 기록하여 다양한 지표에서의 강인함을 입증했다.
• 제안된 학습 알고리즘이 순환 아키텍처에서 표준 역전파가 불가능한 문제를 해결하고 딥 루프 네트워크의 학습을 성공적으로 가능하게 했다.