[논문 리뷰] Learning Graph While Training: An Evolving Graph Convolutional Neural Network

Ruoyu Li, Junzhou Huang|arXiv (Cornell University)|2017. 08. 10.

Machine Learning in Materials Science참고 문헌 24인용 수 9

한 줄 요약

이 논문은 감독적 거리 학습을 통해 훈련 중에 동적으로 그래프 구조를 학습하는 진화하는 그래프 컨볼루션 네트워크(EGCN)를 제안한다. 이는 임의의 형태의 그래프 구조 데이터에 대해 엔드 투 엔드 학습을 가능하게 한다. 특성 차원의 재매arameterization과 잔차 그래프 라플라시안 학습을 통해 EGCN은 분자의 및 약리학적 데이터셋에서 예측 정확도가 향상되고 수렴 속도가 빨라지며, 벤치마크 데이터셋에서 최신 기술 대비 최대 40%까지 RMSE 감소를 달성한다.

ABSTRACT

Convolution Neural Networks on Graphs are important generalization and extension of classical CNNs. While previous works generally assumed that the graph structures of samples are regular with unified dimensions, in many applications, they are highly diverse or even not well defined. Under some circumstances, e.g. chemical molecular data, clustering or coarsening for simplifying the graphs is hard to be justified chemically. In this paper, we propose a more general and flexible graph convolution network (EGCN) fed by batch of arbitrarily shaped data together with their evolving graph Laplacians trained in supervised fashion. Extensive experiments have been conducted to demonstrate the superior performance in terms of both the acceleration of parameter fitting and the significantly improved prediction accuracy on multiple graph-structured datasets.

연구 동기 및 목표

• 기존 그래프 컨볼루션 네트워크에서 고정된 사전 정의된 그래프 구조의 한계를 해결하여, 다양한 또는 비정규적인 그래프 입력에 대해 엔드 투 엔드 학습이 가능하도록 한다.
• 그래프 컨볼루션 네트워크가 정적 또는 비지도 기반 그래프 구축에 의존하는 대신, 훈련 중에 최적의 작업별 그래프 구조를 학습할 수 있도록 한다.
• 매개변수 학습을 통해 가변적인 그래프 라플라시안을 지원하는 스펙트럼 그래프 컨볼루션 레이어를 개발한다.
• 다양한 형태의 그래프 구조 데이터를 처리할 수 있는 통합 프레임워크를 설계하여, 동적이고 샘플별로 다른 그래프 구조를 생성한다.
• 실제 분자의 및 다중 작업 약리학적 데이터셋에서 진화하는 그래프 구조가 예측 성능 향상에 기여하는지를 입증한다.

제안 방법

• 그래프 라플라시안을 학습된 마할라노비스 거리 측도를 사용해 샘플별로 동적으로 업데이트하는 잔차 라플라시안 학습을 통한 스펙트럼 그래프 컨볼루션 레이어(SGC-LL)를 제안한다.
• 특성 도메인에 대한 재매arameterization을 도입하여 k-호프 스펙트럼 컨볼루션을 가능하게 하여, 격자 데이터에서 전통적인 CNN과 유사한 기능 추출 능력을 그래프 CNN에 부여한다.
• 그래프 크기 N과 무관하게 매개변수 복잡도 O(d²) 또는 O(dm)인 감독적 거리 학습을 활용하여 계산 비용을 감소시키면서도 엔드 투 엔드 학습을 가능하게 한다.
• 사전 정의된 또는 비지도 기반 그래프 구축에 의존하는 대신, 예측 작업에 가장 적합한 그래프 구조를 최적화하기 위해 잔차 학습 기반의 설계를 채택한다.
• 임의의 형태의 그래프 입력 배치를 수용하며, 그래프 구조와 모델 매개변수를 함께 감독적으로 학습하는 진화하는 그래프 컨볼루션 네트워크(EGCN)를 설계한다.
• 역전파를 활용하여 그래프 라플라시안과 네트워크 가중치를 동시에 최적화함으로써, 예측 오차에 기반해 그래프 구조가 진화하도록 한다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션 네트워크는 고정되거나 사전 계산된 그래프에 의존하지 않고, 훈련 중에 최적의 작업별 그래프 구조를 학습할 수 있는가?
• RQ2 변동하는 크기의 동적 진화 그래프에서 k-호프 컨볼루션을 지원하기 위해 스펙트럼 그래프 컨볼루션을 어떻게 적응시킬 수 있는가?
• RQ3 감독적 거리 학습은 그래프 구조 학습의 계산 복잡도를 감소시키면서도 예측 성능를 향상시킬 수 있는가?
• RQ4 훈련 중에 그래프 라플라시안을 동적으로 학습하는 것이 정적 또는 비지도 기반 그래프 구축보다 더 나은 일반화 성능과 더 빠른 수렴 속도를 제공하는가?
• RQ5 진화하는 그래프 구조는 분자의 및 다중 작업 약리학 예측 과제에서 성능 향상에 얼마나 기여하는가?

주요 결과

• Delaney 데이터셋에서 EGCN은 최신 기술 대비 평균 RMSE를 31%에서 40%까지 감소시켜, 회귀 성능 향상이 뚜렷하게 입증되었다.
• Az-logD 데이터셋에서 EGCN은 기존 방법 대비 평균 RMSE를 15% 향상시켜, 용해도 예측을 위한 더 나은 표현 학습 능력을 보였다.
• NCI 데이터셋에서 EGCN은 기준 모델 대비 테스트 RMSE를 2%에서 4%까지 감소시켜, 다양한 분자 과제에서 일관된 성능 향상을 보였다.
• Tox21 및 Toxcast 데이터셋에서 EGCN은 Toxcast(617개 과제)에서 평균 ROC-AUC 점수를 최대 5% 향상시켜 강력한 다중 작업 일반화 능력을 입증했다.
• SGC-LL 레이어는 학습 손실을 30% 감소시키고 수렴 속도를 빠르게 하여, 진화하는 그래프 구조가 매개변수 피팅을 가속화함을 시사한다.
• 모든 벤치마크에서 G-CNN, GCN, NFP를 모두 초월하여, 그래프 구조와 모델 학습을 통합하는 것이 효과적임을 확인했다.