[논문 리뷰] NodeNet: A Graph Regularised Neural Network for Node Classification

Shrey Dabhi, Manojkumar Parmar|arXiv (Cornell University)|2020. 06. 16.

Advanced Graph Neural Networks참고 문헌 12인용 수 9

한 줄 요약

NodeNet은 신경 그래프 학습(NGL)의 손실 함수를 수정하여 연결된 노드 간의 특성 유사도를 측정하는 데 L2 거리 대신 코사인 유사도를 사용함으로써 그래프 정규화를 통한 신경망을 개선한 그래프 정규화 신경망이다. TF-IDF 특성 전처리, 배치 정규화, 드롭아웃 및 개선된 손실 함수를 결합함으로써 일반화 능력을 향상시키고 과적합을 감소시켜 저명도 네트워크(Cora, CiteSeer, PubMed)에서 최신 기술 수준(SOTA) 성능을 달성한다. PubMed에서 정확도 향상은 최대 90.21%에 이르렀다.

ABSTRACT

Real-world events exhibit a high degree of interdependence and connections, and hence data points generated also inherit the linkages. However, the majority of AI/ML techniques leave out the linkages among data points. The recent surge of interest in graph-based AI/ML techniques is aimed to leverage the linkages. Graph-based learning algorithms utilize the data and related information effectively to build superior models. Neural Graph Learning (NGL) is one such technique that utilizes a traditional machine learning algorithm with a modified loss function to leverage the edges in the graph structure. In this paper, we propose a model using NGL - NodeNet, to solve node classification task for citation graphs. We discuss our modifications and their relevance to the task. We further compare our results with the current state of the art and investigate reasons for the superior performance of NodeNet.

연구 동기 및 목표

• 그래프 신경망의 과적합 및 과정화 문제를 해결하기 위해 노드 분류에 적용한다.
• 신경 그래프 학습(NGL) 프레임워크를 향상시켜 저명도 네트워크의 노드 분류 성능을 향상시킨다.
• 특성 표현(TF-IDF 대비 이진 카운트)과 손실 함수 설계가 모델 일반화에 미치는 영향을 조사한다.
• 기존 방법보다 뛰어난 성능을 보이는 강력하고 유연한 아키텍처를 개발한다.

제안 방법

• 노드 표현 간의 의미적 유사도를 더 잘 포착하기 위해 NGL 손실 함수의 L2 거리 메트릭을 코사인 유사도로 대체함으로써 손실 함수를 수정한다.
• 이진 특성 카운트를 가중치 표현으로 변환하기 위해 TF-IDF 벡터화를 적용하여 모델 학습 능력을 향상시킨다.
• 과적합을 완화하기 위해 완전 연결 신경망 아키텍처에 배치 정규화 및 드롭아웃 레이어를 도입한다.
• 에지 가중치와 유사도 점수를 통해 레이블-레이블, 레이블-미레이블, 미레이블-미레이블 노드 쌍을 정규화하는 다중 구성 요소 손실 함수를 사용한다.
• 분류를 위해 ReLU 활성화 함수를 사용하는 표준 피드포워드 신경망과 최종 소프트맥스 레이어를 구현한다.
• 교차 엔트로피 분류 손실과 그래프 정규화 항을 포함한 최종 비용 함수를 확률적 경사 하강법으로 최적화한다.

실험 결과

연구 질문

• RQ1 NGL 손실 함수에서 L2 거리 대신 코사인 유사도를 사용할 경우 노드 분류 성능에 어떤 영향을 미치는가?
• RQ2 이진 카운트 대비 TF-IDF 특성 표현이 모델 수렴 및 정확도 향상에 얼마나 기여하는가?
• RQ3 배치 정규화 및 드롭아웃과 같은 아키텍처 수정이 그래프 정규화 노드 분류에서 과적합을 효과적으로 줄일 수 있는가?
• RQ4 저자료 환경에서 그래프 정규화가 일반화에 미치는 영향은 어떠한가?

주요 결과

• NodeNet은 PubMed 데이터셋에서 테스트 정확도 90.21%를 달성하여 이전 최신 기술 수준인 87.80%를 초월했다.
• Cora에서는 NodeNet이 86.80%의 정확도를 기록하여 이전 SOTA인 86.00%를 초월했다.
• CiteSeer에서는 NodeNet이 80.09%의 정확도를 기록하여 이전 SOTA인 78.70%를 초월했다.
• TF-IDF 특성 사용은 특히 PubMed에서 더 빠르고 안정적인 학습 수렴을 이끌어냈다.
• 손실 함수에 코사인 유사도를 적용한 모델은 L2 기반 NGL 대비 더 나은 일반화 능력과 낮은 과적합을 보였다.
• TF-IDF 특성, 배치 정규화, 드롭아웃의 조합은 모든 데이터셋에서 모델의 강건성과 성능을 크게 향상시켰다.