[논문 리뷰] Collective Vertex Classification Using Recursive Neural Network

Qiongkai Xu, Qing Wang외 2명|arXiv (Cornell University)|2017. 01. 24.

Advanced Graph Neural Networks참고 문헌 15인용 수 10

한 줄 요약

이 논문은 트리 구조의 재귀를 사용하여 이웃 정점으로부터의 표현을 순차적으로 집계하고 정점 속성과 결합함으로써 집합적 정점 분류를 위한 그래프 기반 재귀 신경망(GRNN) 프레임워크를 제안한다. 이 방법은 특히 장기 기억 단위(LSTM)를 사용할 경우 최신 기준 성능을 초월하며, WebKB-sim에서 85%의 훈련 데이터로 최대 87.73%의 F1 점수를 기록한다.

ABSTRACT

Collective classification of vertices is a task of assigning categories to each vertex in a graph based on both vertex attributes and link structure. Nevertheless, some existing approaches do not use the features of neighbouring vertices properly, due to the noise introduced by these features. In this paper, we propose a graph-based recursive neural network framework for collective vertex classification. In this framework, we generate hidden representations from both attributes of vertices and representations of neighbouring vertices via recursive neural networks. Under this framework, we explore two types of recursive neural units, naive recursive neural unit and long short-term memory unit. We have conducted experiments on four real-world network datasets. The experimental results show that our frame- work with long short-term memory model achieves better results and outperforms several competitive baseline methods.

연구 동기 및 목표

• 집합적 정점 분류에서 노이즈가 많은 이웃 정점 특성 문제를 해결하기 위해 원시 속성 대신 강건한 표현을 학습하는 것.
• 순환 구조를 포함한 임의의 그래프 구조를 처리할 수 있는 재귀 신경망 프레임워크를 개발하기 위해, 이를 국소적으로 구성된 트리로 변환하는 것.
• 다양한 재귀 신경 단위—기본 재귀 단위와 LSTM 단위—가 정점 분류 성능에 미치는 영향을 평가하는 것.
• 이웃 정점으로부터의 구조적 표현을 통합할 경우 기존 방법을 뛰어넘는 분류 정확도 향상이 이루어지는지 입증하는 것.

제안 방법

• 분류 대상이 되는 각 정점에 대해, 깊이 d까지의 이웃 정점까지 포함하는 계층별로 탐색 트리가 구축된다.
• 구축된 트리 위에 재귀 신경망이 구성되며, 각 노드의 은닉 표현은 자신의 특성과 자식 노드의 은닉 상태에서 계산된다.
• 두 가지 재귀 단위가 평가된다: 기본 재귀 신경 단위(NRU)와 장기 기억 단위(LSTMU), 둘 다 계층적으로 정보를 집계하도록 설계되었다.
• 자식 노드 표현을 통합하기 위해 풀링 전략—평균, 최대, 합계—가 적용되며, 최대 풀링이 노이즈 필터링에 뛰어난 성능을 보였다.
• 프레임워크는 다음과 같은 재귀 계산을 사용한다: $ h_v = \text{RNN}(x_v, \text{pool}(\{h_u \mid u \in \text{children}(v)\})) $, 여기서 $ x_v $ 는 정점 $ v $ 의 특성 벡터이다.
• 최종 분류기 헤드가 루트 노드의 은닉 상태에 적용되며, 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델이 훈련된다.

실험 결과

연구 질문

• RQ1 임의의 그래프에서 트리로 변환함으로써 재귀 신경망 프레임워크가 집합적 정점 분류를 효과적으로 모델링할 수 있는가?
• RQ2 이웃 정점의 학습된 표현을 사용할 경우 원시 이웃 특성 또는 레이블을 직접 사용하는 것보다 분류 작업에서 성능이 뛰어나지는가?
• RQ3 기본 RNN과 LSTM 단위는 그래프 내 구조적 의존성을 포착하는 데 어떻게 비교되는가?
• RQ4 풀링 전략(평균, 최대, 합계)이 이웃 표현을 집계하고 최종 분류 성능에 어떤 영향을 미치는가?
• RQ5 Cora, Citeseer, WebKB, WebKB-sim와 같은 레이블 상관 패턴이 다른 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• G-LSTM_d2 모델은 WebKB-sim 데이터셋에서 85%의 훈련 데이터로 최고의 마이크로-F1 점수 87.73%를 기록하여 모든 기준 성능을 초월했다.
• Cora와 Citeseer에서 G-LSTM_d2는 각각 86.21%와 87.58%의 마이크로-F1 점수를 기록했으며, ICA와 LP는 WebKB에서 어려움을 겪었다.
• 최대 풀링이 평균 및 합계 풀링보다 뛰어난 성능을 보였는데, 이는 가장 영향력 있는 표현을 선택함으로써 노이즈가 많은 이웃 표현을 효과적으로 필터링할 수 있기 때문이다.
• G-LSTM_d2 모델은 G-NRNN_d2를 일관되게 능가했으며, 尤히 훈련 비율이 80%를 초과할 경우 강력한 장거리 의존성 포착 능력을 보여, LSTM의 우월성을 입증했다.
• 레이블 동시 발생 분석 결과, Cora와 Citeseer에서는 강한 레이블 상관관계가 존재했으며(최대 깊이 d=2), 이는 집합적 방법이 효과적으로 작용할 수 있었음을 설명한다. 반면 WebKB는 레이블 상관관계가 약해 LP는 효과적이지 못했다.
• LP가 실패한 WebKB에서 GRNN는 경쟁 가능한 성능을 기록하며 높은 강건성을 입증했으며, 이는 노이즈가 많은 레이블 구조에 대한 내성적 저항력을 보여준다.