[논문 리뷰] A simple yet effective baseline for non-attributed graph classification

Chen Cai, Yusu Wang|arXiv (Cornell University)|2018. 11. 08.

Advanced Graph Neural Networks참고 문헌 21인용 수 42

한 줄 요약

논문은 Local Degree Profile (LDP)를 제시합니다. 이는 지역 차수 분포에 기반한 간단하고 선형 시간 그래프 표현으로, 비속성 그래프에서 최첨단 그래프 커널 및 그래프 신경망과 경쟁력 있는 성능을 달성하며, 속성 그래프에 대해서도 강력한 베이스라인으로 남아 있습니다.

ABSTRACT

Graphs are complex objects that do not lend themselves easily to typical learning tasks. Recently, a range of approaches based on graph kernels or graph neural networks have been developed for graph classification and for representation learning on graphs in general. As the developed methodologies become more sophisticated, it is important to understand which components of the increasingly complex methods are necessary or most effective. As a first step, we develop a simple yet meaningful graph representation, and explore its effectiveness in graph classification. We test our baseline representation for the graph classification task on a range of graph datasets. Interestingly, this simple representation achieves similar performance as the state-of-the-art graph kernels and graph neural networks for non-attributed graph classification. Its performance on classifying attributed graphs is slightly weaker as it does not incorporate attributes. However, given its simplicity and efficiency, we believe that it still serves as an effective baseline for attributed graph classification. Our graph representation is efficient (linear-time) to compute. We also provide a simple connection with the graph neural networks. Note that these observations are only for the task of graph classification while existing methods are often designed for a broader scope including node embedding and link prediction. The results are also likely biased due to the limited amount of benchmark datasets available. Nevertheless, the good performance of our simple baseline calls for the development of new, more comprehensive benchmark datasets so as to better evaluate and analyze different graph learning methods. Furthermore, given the computational efficiency of our graph summary, we believe that it is a good candidate as a baseline method for future graph classification (or even other graph learning) studies.

연구 동기 및 목표

• 비속성 그래프 분류에서 간단한 지역 정보 기반 그래프 표현이 좋은 성능을 낼 수 있는지 평가한다.
• LDP 베이스라인을 표준 데이터셋에서 최첨단 그래프 커널 및 그래프 신경망과 비교한다.
• 기본선으로서 제안된 방법의 계산 효율성 및 확장성을 평가한다.

제안 방법

• 각 노드 v에 대해 degree(v)와 이웃의 차수의 분포의 통계치(최소, 최대, 평균, 표준편차) DN(v)을 계산한다.
• 다섯 가지 노드 특징 각각에 히스토그램 또는 경험적 분포 함수를 적용하고 특징들을 결합하여 그래프 레벨 특징을 생성한다.
• 집계된 그래프 특징에 대해 선형 또는 비선형 SVM을 10-fold 교차검증을 10회 반복하여 훈련하고 평균 정확도를 보고한다.
• 계산 복잡도 분석: 특징 추출은 O(E), 노드 V 값을 B 빈으로 매핑하는 것은 O(V)이며, 비교를 위해 커널 기반 및 신경망 베이스라인을 논의한다.
• GNN과의 관계를 분석하여 LDP가 학습 없이도 GNN의 핵심 구성 요소를 포착함을 보이고, sum(DN(v))와 같은 잠재적 추가 특징의 도입 가능성을 고려하되 최종 결과에 반영하지 않는다.
• 하이퍼파라미터에는 빈 크기, 정규화 전략, 표현 방식(히스토그램 대 경험적 분포), 스케일 선택(선형 대 로그), SVM 매개변수 C 및 커널 대역폭이 포함된다.

실험 결과

연구 질문

• RQ1 간단하고 학습되지 않는 지역 특징 표현이 비속성 그래프 분류에서 복잡한 그래프 커널 및 GNN과 경쟁할 수 있는가?
• RQ2 LDP 베이스라인이 표준의 비속성 그래프 데이터셋에서 정확도와 효율성 측면에서 최첨단 방법과 비교하여 어떤 차이가 있는가?
• RQ3 그래프 분류를 위해 로컬의 비속성 정보만을 사용하는 것의 한계는 무엇이며 전역 정보나 속성 정보가 필요한 경우는 언제인가?

주요 결과

• Local Degree Profile(LDP) 베이스라인은 비속성 그래프 분류 작업에서 최첨단 그래프 커널 및 많은 그래프 신경망과 경쟁력 있는 성능을 달성한다.
• 선형 SVM(표현 학습이 없는 경우)조차 LDP가 Reddit 계열 데이터셋을 포함한 여러 데이터셋에서 잘 작동한다.
• 추가적인 노드 또는 간선 특징을 추가하는 경우의 개선은 데이터셋 전체적으로 제한적이며, 순전히 지역 차수 기반 특징은 비속성 그래프에 대해 놀랄 만큼 강력한 성능을 발휘하는 반면, 전역적이거나 속성 정보가 필요한 경우도 있다(예: 일부 화학 그래프).
• LDP는 선형 시간의 특징 추출로 계산적으로 효율적이며, 미래의 그래프 분류 연구를 위한 강력한 베이스라인 및 더 크고 포괄적인 벤치마크의 필요성을 강조한다.