[논문 리뷰] Joint Learning of Graph Representation and Node Features in Graph Convolutional Neural Networks

Jiaxiang Tang, Wei Hu외 2명|arXiv (Cornell University)|2019. 09. 11.

Advanced Graph Neural Networks참고 문헌 28인용 수 6

한 줄 요약

이 논문은 저랭크 분해를 통한 맬라보리스 거리 척도 최적화를 통해 GCNN 내에서 그래프 구조와 노드 특징을 동시에 동적으로 학습하는 공동 학습 그래프 컨volution 네트워크(JLGCN)를 제안한다. 이 방법은 고정 그래프 기반 모델 대비 인용 네트워크와 포인트 클라우드에서 정확도와 강인성을 향상시키며, 최소한의 파라미터 오 overhead 로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) extend classical CNNs to graph data domain, such as brain networks, social networks and 3D point clouds. It is critical to identify an appropriate graph for the subsequent graph convolution. Existing methods manually construct or learn one fixed graph for all the layers of a GCNN. In order to adapt to the underlying structure of node features in different layers, we propose dynamic learning of graphs and node features jointly in GCNNs. In particular, we cast the graph optimization problem as distance metric learning to capture pairwise similarities of features in each layer. We deploy the Mahalanobis distance metric and further decompose the metric matrix into a low-dimensional matrix, which converts graph learning to the optimization of a low-dimensional matrix for efficient implementation. Extensive experiments on point clouds and citation network datasets demonstrate the superiority of the proposed method in terms of both accuracies and robustness.

연구 동기 및 목표

• GCNN 내에서 고정된 정적 그래프가 계층 간 변화하는 노드 특징 구조에 적응하지 못하는 한계를 해결하기 위해.
• 데이터 기반 방식으로 쌍별 특징 유사도를 반영하는 동적이고 계층별 그래프 최적화를 가능하게 하기 위해.
• 정답 그래프가 존재하지 않거나 열악한 상황에서의 준지도 학습 및 포인트 클라우드 분류에서 GCN 성능을 향상시키기 위해.
• 효율적인 최적화를 위해 맬라보리스 척도 행렬을 저차원 형태로 분해하여 계산 복잡도를 감소시키기 위해.
• 아키텍처의 대대적인 개선 없이도 표준 GCN 아키텍처에 공동 그래프 및 특징 학습을 통합하기 위해.

제안 방법

• 해당 방법은 특징 상관관계와 쌍별 유사도를 포괄하기 위해 맬라보리스 거리 척도를 사용하여 그래프 학습을 척도 기반 거리 최적화 문제로 공식화한다.
• 매트릭스 M을 R·R^T 형태로 분해함으로써 R을 저차원 행렬(S << K)로 설정하여 효율적인 최적화를 가능하게 한다.
• 그래프 라플라시안 정규화자(GLR)는 R의 최적화를 통해 최소화되며, 이는 학습된 그래프 상에서 특징의 스무딩을 강제한다.
• 손실 함수는 GLR와 크로스 엔트로피를 조합하여 그래프 구조와 노드 특징을 종합적으로 엔드 투 엔드로 최적화한다.
• 이전 계층에서 학습된 그래프가 현재 계층의 그래프와 연결되어 다중 수준의 특징 학습을 가능하게 한다.
• 프레임워크는 표준 GCN 아키텍처와 호환되며, 효율적인 메시지 전달을 위해 일阶 스펙트럼 근사법을 사용한다.

실험 결과

연구 질문

• RQ1 준지도 노드 분류에서 고정 그래프 대비 동적이고 계층별 그래프 학습이 GCN 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 많거나 희소한 데이터, 예를 들어 저밀도 포인트 클라우드에서 그래프 구조와 노드 특징의 공동 최적화가 강인성에 미치는 영향은 어떠한가?
• RQ3 저랭크 분해를 통한 맬라보리스 거리 척도 학습이 그래프 구조 데이터 내에서 잠재적 특징 관계를 효과적으로 포착할 수 있는가?
• RQ4 제안된 방법은 최소한의 파라미터 증가로 인해 경험적 k-NN 그래프 및 최신 기술 수준의 GCN 변종보다 포인트 클라우드 분류에서 승리할 수 있는가?
• RQ5 잔차 그래프 연결을 통한 다중 수준 그래프 학습이 GCN 계층 간 특징 표현을 어느 정도 향상시키는가?

주요 결과

• Cora 인용 네트워크에서 JLGCN는 평균 클래스 정확도 87.2%와 총 정확도 90.8%를 기록했으며, 기준 GCN(84.2% 및 88.7%)보다 2.5% 이상 높은 성능을 보였다.
• ModelNet40 포인트 클라우드 분류에서 JLGCN는 오직 13MB의 모델 크기로 총 정확도 90.8%를 달성했으며, 기준 GCN(88.7%)을 초월했고, 파라미터 수가 적음에도 불구하고 최신 기술 수준의 방법과 동등한 성능을 보였다.
• 희소한 포인트 클라우드에 대해 뛰어난 강인성을 입증했으며, 90%의 포인트 드롭아웃 조건에서도 높은 정확도를 유지했고, 기준 GCN보다 뚜렷한 성능 우위를 보였다.
• 시각화 결과에서 학습된 그래프는 밀도가 높고 가중치가 부여된 형태였으며, 깊이가 깊어질수록 자기 연결이 증가하는 경향을 보여, 네트워크 깊이에 따라 동적으로 적응하는 경향을 나타냈다.
• 스펙트럼 기반 GCN 기반 방법들 중에서 JLGCN는 ModelNet40에서 최고의 성능을 기록했으며, 그래프 구조 학습의 효과성을 입증했다.
• 제거 분석 결과, GLR와 크로스 엔트로피를 통한 그래프 및 특징의 공동 최적화가 별도 또는 고정 그래프 학습보다 더 우수한 일반화 성능을 보였음을 확인했다.