[논문 리뷰] Topological based classification using graph convolutional networks

Roy Abel, Idan Benami외 1명|arXiv (Cornell University)|2019. 10. 26.

Advanced Graph Neural Networks참고 문헌 36인용 수 6

한 줄 요약

이 논문은 메시지 전파 과정에 그래프 위상 구조에서 유도된 구조적 노드 특징을 통합함으로써 그래프 컨volution 네트워크(GCNs)에 위상적 유도 특징을 도입한다. 유사한 위상적 역할을 하는 먼 거리의 노드들 간에 간선을 추가함으로써 분류 정확도가 크게 향상되며, Cora, PubMed, Physics 데이터셋에서 최신 기술을 초월한다. 반면 직접 위상 특징을 입력으로 사용할 경우 성능이 저하됨을 확인하여, 위상 정보는 연결성 향상에 활용하는 것이 더 바람직하다는 것을 시사한다.

ABSTRACT

In colored graphs, node classes are often associated with either their neighbors class or with information not incorporated in the graph associated with each node. We here propose that node classes are also associated with topological features of the nodes. We use this association to improve Graph machine learning in general and specifically, Graph Convolutional Networks (GCN). First, we show that even in the absence of any external information on nodes, a good accuracy can be obtained on the prediction of the node class using either topological features, or using the neighbors class as an input to a GCN. This accuracy is slightly less than the one that can be obtained using content based GCN. Secondly, we show that explicitly adding the topology as an input to the GCN does not improve the accuracy when combined with external information on nodes. However, adding an additional adjacency matrix with edges between distant nodes with similar topology to the GCN does significantly improve its accuracy, leading to results better than all state of the art methods in multiple datasets.

연구 동기 및 목표

• 노드의 이웃 클래스나 노드 콘텐츠를 초월한 위상적 특징이 그래프 신경망에서 노드 분류 성능 향상에 기여할 수 있는지 조사하기.
• 기존 GCN 아키텍처와 비교하여 위상적 특징을 직접 입력으로 사용하는 것이 성능 향상에 기여하는지 평가하기.
• 유사한 위상적 역할을 하는 노드들 간에 새로운 간선을 구축함으로써 분류 정확도 향상 여부 탐색하기.
• 콘텐츠에 의존하지 않는 노드 분류 방법을 개발하여 구조적 위상 정보를 활용해 정밀도 및 프라이버시를 향상시키기.

제안 방법

• 노드들을 그래프 거리 유지 비율을 고려한 저차원 공간으로 투영하기 위해 다차원 척도법(MDS)을 사용하여 위상적 구조를 포괄한다.
• 각 노드의 MDS 좌표를 추출하여 위상적 역할을 나타내는 위상 특징으로 활용한다.
• 유사한 위상적 특징을 가진 노드들 간에 간선을 추가함으로써 수정된 GCN 아키텍처(T-GCN)를 제안한다.
• 대칭적이고 정규화된 인접 행렬을 사용하며, 위상 유사성 기반으로 장거리 간선을 추가하여 먼 거리에 위치한 유사한 구조적 노드들 간의 메시지 전파를 향상시킨다.
• 증강된 인접 행렬을 기반으로 주의 메커니즘을 적용하여 T-GAT로 확장함으로써 위상적으로 유사한 노드들로부터 온 메시지의 중요도를 가중치로 처리한다.
• 안정성을 확보하기 위해 Cora, CiteSeer, PubMed, Physics, CS, Cora-Full에서 표준 분할을 사용하여 성능 평가를 수행하며, 총 100회 반복한다.

실험 결과

연구 질문

• RQ1 노드의 그래프 내 구조적 위치에서 유도된 위상적 특징이 GCN에서 노드 분류 정확도 향상에 기여할 수 있는가?
• RQ2 위상적 특징을 GCN에 직접 입력으로 사용할 경우, 콘텐츠 기반 또는 이웃 기반 입력과 비교해 성능 향상이 이루어지는가?
• RQ3 유사한 위상적 특징을 가진 노드들 간에 간선을 추가함으로써 기존 GCN 또는 GAT보다 더 나은 분류 성능을 달성할 수 있는가?
• RQ4 기본 인용 및 학술 네트워크 데이터셋에서 위상 정보를 보완한 GCN이 최신 기술(SOTA)을 초월할 수 있는가?
• RQ5 노드 콘텐츠를 사용하지 않는 콘텐츠 독립적 환경에서도 제안된 방법이 효과적인가?

주요 결과

• T-GCN과 T-GAT는 Cora, PubMed, Physics 데이터셋에서 모든 베이스라인 모델을 능가하며, 각각 Cora에서 83.0% 및 83.8%의 정확도를 기록했다.
• PubMed에서 T-GCN은 79.8%의 정확도를 달성하여 원본 GCN(79.0%)과 GAT(79.0%)를 각각 0.8%포인트 뛰어넘었다.
• CiteSeer 데이터셋에서는 T-GCN이 71.3%의 정확도를 기록하여 원본 GCN(70.3%)을 초월했으며, 무작위 분할 조건에서도 GCN 대비 3.3% 향상된 성능을 보였다.
• 위상적으로 유사한 노드들 간의 장거리 간선 추가가 성능 향상에 크게 기여하는 반면, 직접 위상 특징을 입력으로 사용할 경우 정확도가 감소하였다.
• Cora-Full과 Physics에서 T-GCN은 각각 62.1% 및 93.0%의 정확도를 기록하여 N-GCN 및 GAT와 같은 최신 기술 모델의 성능을 충족하거나 초월하였다.
• 노드 콘텐츠를 사용하지 않은 상황에서도 다양한 데이터셋과 분할 조건에서 뛰어난 안정성과 일관성을 보이며 성능 향상을 입증하였으며, 이는 프라이버시 보존 분류에 있어 가치 있는 기여로 평가된다.