[논문 리뷰] Contextual Graph Markov Model: A Deep and Generative Approach to Graph Processing

Davide Bacciu, Federico Errica외 1명|arXiv (Cornell University)|2018. 05. 27.

Advanced Graph Neural Networks참고 문헌 24인용 수 37

한 줄 요약

논문은 순차적이고 계층적인 확률적 인코딩을 통해 사이클을 포함한 임의의 그래프 구조를 학습할 수 있는 딥 생성 프레임워크인 컨텍스추얼 그래프 마르코프 모델(CGMM)을 제안한다. 이 모델은 비순환 구조를 요구하지 않으며, 그래프 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 MUTAG에서 91.18%의 정확도를 기록했고, CPDB와 AIDS에서도 경쟁력 있는 결과를 보였다. 이는 깊이 있는 생성 아키텍처와 풀링, 비지도 사전학습을 통해 노드와 엣지 간에 스케일러블하고 대칭적인 컨텍스트 전파를 가능하게 하여 달성되었다.

ABSTRACT

We introduce the Contextual Graph Markov Model, an approach combining ideas from generative models and neural networks for the processing of graph data. It founds on a constructive methodology to build a deep architecture comprising layers of probabilistic models that learn to encode the structured information in an incremental fashion. Context is diffused in an efficient and scalable way across the graph vertexes and edges. The resulting graph encoding is used in combination with discriminative models to address structure classification benchmarks.

연구 동기 및 목표

• 인과성 가정이나 고정 크기 전처리에 의존하지 않고, 사이클을 포함한 임의의 위상 구조를 가진 그래프에서 구조적 표현을 학습하는 데 도전한다.
• 계층적이고 점진적인 방식으로 구조적 정보를 레이어별로 인코딩하는 스케일러블한 딥 생성 모델을 개발하여 풍부하고 재사용 가능한 그래프 표현을 가능하게 한다.
• 생성 모델링과 분류 모델(예: SVM)을 결합하여 라벨이 부여된 데이터와 라벨이 없는 데이터를 모두 활용해 그래프 분류 작업의 성능을 향상시킨다.
• 재귀 모델과 그래프 커널의 한계를 극복하기 위해 사이클을 포함한 그래프에서 대칭적인 컨텍스트 확산과 계층적 특징 학습을 가능하게 한다.
• 비지도 사전학습을 통해 생성 모델을 활용하면 반지도 학습 환경에서 정확도를 향상시키고 다양한 그래프 벤치마크에 일반화할 수 있음을 입증한다.

제안 방법

• CGMM는 각 레이어가 점진적으로 더 복잡한 맥락 정보를 캡처하는 계층적 확률 모델 아키텍처를 구성하며, 그래프 구조를 점진적으로 인코딩한다.
• 정점과 간선 레이블을 모델링하기 위해 생성적 바텀업 히든 트리 마르코프 모델(BUHTMM) 기반 구조를 사용하여 완전한 정상성과 확률적 추론을 가능하게 한다.
• 깊이 있는 계층적 레이어링 메커니즘을 통해 정보가 노드와 엣지 간에 대칭적으로 확산되며, 반복 수렴이나 고비용의 확산 절차가 필요하지 않다.
• 각 레이어는 완전히 국소적인 계산을 수행하므로 고도의 스케일러비리티를 확보하고, 전역적인 그래프 재조직화가 필요 없이 효율적인 학습이 가능하다.
• 모델은 레이어 간 표현을 압축하기 위한 풀링 전략을 사용하며, 최종 은닉 표현은 레이어 간 연결을 통해 하류의 분류 모델에 사용된다.
• 최종 분류기(예: SVM)는 학습된 그래프 지문을 기반으로 학습되며, 이 프레임워크는 게으른 레이어별 사전학습과 미세조정을 통해 엔드 투 엔드 학습을 지원한다.

실험 결과

연구 질문

• RQ1 인과적 순서나 비순환 가정에 의존하지 않고도, 임의의 위상 구조를 가진 그래프(예: 사이클 포함)에 대해 깊이 있는 생성 모델이 효과적으로 맥락 표현을 학습할 수 있는가?
• RQ2 다중 레이어에 걸친 계층적이고 점진적인 인코딩 방식이 얕거나 고정 크기의 방법에 비해 그래프 임베딩의 표현 능력을 얼마나 향상시키는가?
• RQ3 생성 모델을 통한 비지도 사전학습이 반지도 학습 환경에서 하류 분류 정확도를 얼마나 향상시키는가?
• RQ4 깊이가 학습된 표현의 품질에 어떤 영향을 미치며, 깊이가 증가함에 따라 성능이 정점에 도달하거나 저하되는가?
• RQ5 기존의 최신 기술 수준의 그래프 커널과 신경망에 비해 CGMM이 표준 그래프 분류 벤치마크에서 경쟁력 있거나 슈퍼리어한 성능을 낼 수 있는가?

주요 결과

• CGMM는 중첩 교차검증을 사용하여 MUTAG 데이터셋에서 91.18%의 정확도를 기록했으며, 최신 기술 수준의 PATCHY-SAN 신경망과 동일한 성능을 달성했다.
• CPDB 데이터셋에서 CGMM는 표준편차 4.00%를 동반한 81.04%의 정확도를 기록했으며, 여러 최신 기술 수준의 그래프 커널을 능가했고, 다양한 폴드 간에 뛰어난 안정성을 보였다.
• AIDS 데이터셋에서 CGMM는 표준편차 2.31%를 동반한 84.16%의 정확도를 기록했으며, 강력한 일반화 능력과 안정성을 입증했다.
• 레이어 수의 증가가 성능 향상에 지속적으로 기여하며, 정점에 도달하는 경향을 보였으며, 깊이가 노드와 엣지 간의 구조적 맥락 전파를 효과적으로 가능하게 했다.
• CPDB에서 데이터 분할의 변동성에 민감하게 반응했으며, 10개 폴드 중 단 두 개 폴드만 크게 벗어나 성능 변동성이 높아졌지만, 평균 정확도는 높았다.
• 제거 실험 결과 깊이가 표현 품질을 향상시킴을 확인했으며, CGMM 지문을 기반으로 한 선형 SVM의 정확도는 레이어 수 증가에 따라 증가하다가 정점에 도달했다.