[논문 리뷰] Graph Learning-Convolutional Networks

Bo Jiang, Ziyan Zhang외 2명|arXiv (Cornell University)|2018. 11. 25.

Advanced Graph Neural Networks참고 문헌 13인용 수 7

한 줄 요약

이 논문은 준지도 학습 노드 분류를 위한 그래프 구조 학습과 그래프 컨볼루션을 동시에 최적화하는 통합된 딥러닝 프레임워크인 그래프 러닝-컨볼루션 네트워크(GLCN)를 제안한다. 주어진 레이블과 예측 레이블을 약한 사전 지식으로 통합함으로써 GLCN은 훈련 중에 그래프 구조를 동적으로 개선하며, 이미지 및 인용 네트워크에서 GCN와 GAT에 비해 뚜렷한 성능 향상을 보이며 일곱 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, graph Convolutional Neural Networks (graph CNNs) have been widely used for graph data representation and semi-supervised learning tasks. However, existing graph CNNs generally use a fixed graph which may be not optimal for semi-supervised learning tasks. In this paper, we propose a novel Graph Learning-Convolutional Network (GLCN) for graph data representation and semi-supervised learning. The aim of GLCN is to learn an optimal graph structure that best serves graph CNNs for semi-supervised learning by integrating both graph learning and graph convolution together in a unified network architecture. The main advantage is that in GLCN, both given labels and the estimated labels are incorporated and thus can provide useful 'weakly' supervised information to refine (or learn) the graph construction and also to facilitate the graph convolution operation in GLCN for unknown label estimation. Experimental results on seven benchmarks demonstrate that GLCN significantly outperforms state-of-the-art traditional fixed structure based graph CNNs.

연구 동기 및 목표

• 기존 그래프 CNN에서 고정된 그래프 구조의 한계를 해결하기 위해, 이는 준지도 학습에 최적화되지 않을 수 있음을 목적으로 한다.
• 그래프 학습과 그래프 컨볼루션을 하나의 엔드 투 엔드 학습 가능한 아키텍처로 통합하여 표현 학습을 향상시키기 위해.
• 주어진 레이블과 예측 레이블을 모두 약한 사전 지식으로 활용하여 그래프 구축을 개선하고 분류 성능을 향상시키기 위해.
• 그래프와 모델 파라미터를 별도로 최적화하는 것을 피하는 통합된 훈련 프레임워크를 개발하기 위해.
• 최신 기술 수준의 방법들과 비교해 다양한 준지도 학습 벤치마크에서 뛰어난 성능을 보여주기 위해.

제안 방법

• GLCN은 백프로파게이션 동안 진짜 레이블과 예측 레이블을 모두 사용하여 인접 행렬을 업데이트하는 미분 가능한 그래프 학습 모듈을 도입한다.
• 모델은 $ D^{-1/2}AD^{-1/2} $를 통해 대칭적으로 정규화된 인접 행렬을 사용하는 수정된 GCN 레이어를 활용하며, 계산 효율성을 유지한다.
• 노드 분류를 위한 교차 엔트로피와 예측 레이블과 진짜 레이블을 일치시키는 정규화 항 $ \lambda \| \hat{Y} - Y \|_F^2 $를 조합한 공동 손실 함수를 사용하여 그래프 개선을 이끈다.
• 그래프 구조는 GCN 파라미터와 함께 엔드 투 엔드로 최적화되어, 위상과 특징 표현을 함께 학습할 수 있도록 한다.
• 이 프레임워크는 임의의 그래프 컨볼루션 연산을 지원하며, 다양한 GCN 변종과 호환된다.
• 이 방법은 단일 최적화 루프에서 훈련되며, 구현을 단순화하고 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고정된 그래프 기반 GCN을 초월하여 그래프 구조를 공동으로 학습하고 그래프 컨볼루션을 수행하는 것이 준지도 학습 노드 분류 성능을 향상시킬 수 있는가?
• RQ2 진짜 레이블과 예측 레이블을 모두 사전 지식으로 통합함으로써 그래프 학습과 모델 성능이 어떻게 향상되는가?
• RQ3 그래프 구조와 모델 파라미터를 엔드 투 엔드로 최적화하는 것이 그래프와 모델 구성 요소를 별도로 훈련하는 것보다 더 나은 일반화 성능을 낳는가?
• RQ4 GLCN은 네트워크 깊이, 히든 유닛 수, 그래프 학습 정규화 가중치 $ \lambda $와 같은 하이퍼파rameter에 얼마나 민감한가?
• RQ5 GLCN은 준지도 학습 노드 분류를 초월하여 다른 그래프 기반 학습 과제에도 일반화 가능한가?

주요 결과

• GLCN은 일곱 개의 모든 벤치마크에서 베이스라인 GCN를 능가하며, 인용 네트워크(Cora, Citeseer, PubMed)에서 평균 3.7%의 정확도 향상을 보였고, 이미지 데이터셋(CIFAR10, SVHN, MNIST, Scene15)에서는 최대 4.5% 향상된 성능을 기록했다.
• MNIST 데이터셋에서 GLCN는 두 개의 컨볼루션 레이어를 사용할 경우 94.10%의 테스트 정확도를 달성했고, 동일한 설정에서 GCN는 90.70%에 그쳤다.
• GLCN는 모든 데이터셋에서 GAT, LP, ManiReg, DeepWalk를 뛰어넘어 표현 학습과 일반화 능력에서의 우수성을 입증했다.
• 깊이와 히든 유닛 수의 변화에 대해 강건하며, 다양한 설정에서도 성능 저하가 거의 없이 일관된 성능을 보였다.
• 그래프 학습 정규화 가중치 $ \lambda $는 성능 향상에 기여하며, 최적값은 약 $ 10^{-2} $ 수준이며, 심지어 $ \lambda = 0 $ 일 때도 합리적인 성능을 기록하여 방법의 안정성을 시사한다.
• 시각화 결과는 GLCN가 GCN보다 더 분류에 유용한 노드 표현을 생성함을 보여주며, 특히 은닉층에서의 표현이 더 분류에 유용하다.