[논문 리뷰] Exploring Structure-Adaptive Graph Learning for Robust Semi-Supervised Classification

Xiang Gao, Wei Hu외 1명|arXiv (Cornell University)|2019. 04. 23.

Advanced Graph Neural Networks참고 문헌 30인용 수 4

한 줄 요약

이 논문은 GCNN 프레임워크 내에서 그래프 라플라시안 정규화자(Graph Laplacian Regularizer, GLR)를 기반으로 한 구조 적응형 정규화를 통해 그래프 구조와 엣지 가중치를 동시에 최적화하는 그래프 학습 신경망(GLNNs)을 제안한다. 이 방법은 레이블 비율이 낮을 경우에도 특히 탄탄한 성능을 보이며, 저명도 논문 및 사회망 데이터셋에서 최신 기법들을 능가한다. 데이터 및 작업 기반의 그래프를 엔드 투 엔드로 학습함으로써 반감성 분류의 정확도를 향상시킨다.

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) are generalizations of CNNs to graph-structured data, in which convolution is guided by the graph topology. In many cases where graphs are unavailable, existing methods manually construct graphs or learn task-driven adaptive graphs. In this paper, we propose Graph Learning Neural Networks (GLNNs), which exploit the optimization of graphs (the adjacency matrix in particular) from both data and tasks. Leveraging on spectral graph theory, we propose the objective of graph learning from a sparsity constraint, properties of a valid adjacency matrix as well as a graph Laplacian regularizer via maximum a posteriori estimation. The optimization objective is then integrated into the loss function of the GCNN, which adapts the graph topology to not only labels of a specific task but also the input data. Experimental results show that our proposed GLNN outperforms state-of-the-art approaches over widely adopted social network datasets and citation network datasets for semi-supervised classification.

연구 동기 및 목표

• 기본 그래프가 없거나 신뢰할 수 없을 때 반감성 학습에서 최적의 그래프 구조를 확보하는 데 도전한다.
• 실제 그래프 데이터에서 흔한 낮은 레이블 비율 상황에서 모델의 탄력성을 향상시킨다.
• 데이터 및 레이블 정보를 모두 활용하여 그래프 구조(연결성 및 가중치)와 분류 성능을 동시에 최적화한다.
• 가능한 한 유연하고 엔드 투 엔드로 학습 가능한 프레임워크를 통해 GCNN에 구조 적응형 그래프 학습을 통합한다.
• 고정된 그래프 또는 엣지 가중치만 학습하는 그래프와 비교해 GLR 기반 그래프 학습의 우수성을 입증한다.

제안 방법

• 접근 행렬에 대한 최대 사후확률(MAP) 추정 문제로 그래프 학습을 공식화하며, GLR를 우도 함수로 통합한다.
• 유효한 접근 행렬을 위해 희소성, 대칭성, 정규화, 자기 순환의 부재를 강제하는 사전 분포를 도입한다.
• 그래프 학습 목표를 GCNN의 크로스 엔트로피 손실에 통합하여 그래프 구조와 분류를 동시에 최적화할 수 있도록 한다.
• 특징 추출 및 분류를 위해 그래프 학습 레이어와 두 개의 GCN 레이어를 포함하는 GLNN 프레임워크를 설계한다.
• 스펙트럼 그래프 이론을 활용해 그래프 라플라시안 정규화자(GLR)를 정의하며, 이는 학습된 그래프 상에서 노드 특징의 스무딩을 촉진한다.
• 백프로파게이션을 사용해 접근 행렬을 엔드 투 엔드로 최적화함으로써, 입력 데이터와 레이블에 기반한 그래프 구조의 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구조 적응형 그래프 학습이 레이블이 부족한 경우에도 반감성 노드 분류 성능을 향상시킬 수 있는가?
• RQ2 그래프 라플라시안 정규화자(GLR)를 통합함으로써 GCNN의 낮은 레이블 비율 환경에서의 탄력성은 어떻게 향상되는가?
• RQ3 그래프 구조와 분류 손실을 동시에 최적화하는 방식이, 고정된 그래프 또는 엣지 가중치만 조정하는 방법보다 얼마나 뛰어난가?
• RQ4 제안된 GLNN은 훈련 과정에서 기준 진짜 그래프와 유사하면서도 더 희소한 접근 행렬을 학습하는가?
• RQ5 GLR 손실 항목의 하이퍼파rameter 가중치에 대해 성능가 얼마나 민감한가?

주요 결과

• GLNN은 저명도 논문(Cora, Citeseer, PubMed) 및 사회망(TerroristsRel, TerrorAttack) 데이터셋에서 최신 기법을 능가하는 성능을 기록하며, GCN 및 ChebNet보다 정확도 향상을 보였다.
• Cora와 Citeseer에서 레이블 비율이 0.005일 때도 각각 58% 이상, 51.8% 이상의 분류 정확도를 유지하며 기준 모델을 크게 앞서 갔다.
• GLR 가중치(λ₀)가 증가함에 따라 성능이 향상되며, λ₀ = 1.0에서 최고 성능을 보였으며, 이는 GLR가 분류 정확도 향상에 결정적인 역할을 한다는 것을 시사한다.
• 절단 실험 결과, GLR 손실 항목을 제거하면 성능이 크게 떨어지며, 이는 GLR의 효과성을 검증한다.
• 시각화 결과, 학습 과정을 거치면서 학습된 접근 행렬이 기준 진짜 그래프에 수렴하고, 동시에 희소해지는 경향을 보였다. 이는 희소성 제약과 일치한다.
• GLNN 프레임워크는 사전 정의되거나 수작업으로 구성된 그래프에 의존하지 않고도 의미 있는, 희소하고 작업 지향적인 그래프 구조를 성공적으로 학습했다.