[논문 리뷰] IsoNN: Isomorphic Neural Network for Graph Representation Learning and Classification

Lin Meng, Jiawei Zhang|arXiv (Cornell University)|2019. 07. 22.

Advanced Graph Neural Networks참고 문헌 36인용 수 10

한 줄 요약

IsoNN는 입력 그래프를 학습된 템플릿과 순열 행렬을 사용해 매칭함으로써 동형 부분그래프 특징을 학습하는 새로운 그래프 신경망이다. 이로 인해 노드 순서에 의한 편향이 제거되며, 최소 풀링과 소프트맥스 융합을 통해 명시적인 부분구조 보존과 강인하고 해석 가능한 표현을 가능하게 한다. 이는 기준 그래프 분류 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Deep learning models have achieved huge success in numerous fields, such as computer vision and natural language processing. However, unlike such fields, it is hard to apply traditional deep learning models on the graph data due to the 'node-orderless' property. Normally, adjacency matrices will cast an artificial and random node-order on the graphs, which renders the performance of deep models on graph classification tasks extremely erratic, and the representations learned by such models lack clear interpretability. To eliminate the unnecessary node-order constraint, we propose a novel model named Isomorphic Neural Network (IsoNN), which learns the graph representation by extracting its isomorphic features via the graph matching between input graph and templates. IsoNN has two main components: graph isomorphic feature extraction component and classification component. The graph isomorphic feature extraction component utilizes a set of subgraph templates as the kernel variables to learn the possible subgraph patterns existing in the input graph and then computes the isomorphic features. A set of permutation matrices is used in the component to break the node-order brought by the matrix representation. Three fully-connected layers are used as the classification component in IsoNN. Extensive experiments are conducted on benchmark datasets, the experimental results can demonstrate the effectiveness of ISONN, especially compared with both classic and state-of-the-art graph classification methods.

연구 동기 및 목표

• 그래프 신경망에서 노드 순서 민감성 문제를 해결함으로써 모델의 강인성과 해석 가능성 저하를 완화한다.
• 수동적인 패턴 선택이나 고복잡도의 부분그래프 열거가 필요 없이 명시적이고 해석 가능한 부분그래프 특징 추출을 가능하게 한다.
• 그래프 학습에서 인접행렬 표현 방식이 유도하는 인위적인 노드 순서 제약 조건을 제거한다.
• 구조적 부분그래프 패턴을 보존하는 효율적이고 확장 가능한 그래프 표현 학습 방법을 개발한다.
• 동형 특징 학습을 통해 명시적인 부분구조 정보를 유지함으로써 그래프 분류 성능을 향상시킨다.

제안 방법

• IsoNN는 입력 그래프에서 동형 특징을 추출하기 위해 학습된 부분그래프 템플릿 집합을 커널 변수로 사용한다.
• 노드의 동형성은 템플릿과 입력 그래프 간의 순열 행렬을 통해 모델링되며, 이는 행렬 표현 방식에서 유도되는 노드 순서 제약 조건을 해소한다.
• 최소 풀링 레이어는 각 템플릿에 대해 최적의 노드 순열을 식별하여 가장 유사한 부분그래프 패턴을 선택한다.
• 소프트맥스 레이어는 모든 템플릿 간 특징을 정규화하고 융합하여 통합된 강인한 그래프 표현을 생성한다.
• 분류 구성 요소는 이so모픽 특징에서 그래프 레이블을 예측하기 위해 세 개의 완전 연결 레이어로 구성된다.
• 두 가지 효율적인 변종인 IsoNN-fast 및 최적화된 버전은 전수 순열 탐색을 피하기 위해 고유값 분해를 사용해 계산을 가속화한다.

실험 결과

연구 질문

• RQ1 템플릿 매칭을 통한 동형 특징 학습이 그래프 분류 성능 향상과 함께 해석 가능성 유지에 기여하는가?
• RQ2 순열 행렬을 통한 노드 순서 편향 제거가 그래프 분류 작업의 모델 강인성과 성능에 어떤 영향을 미치는가?
• RQ3 커널 크기와 채널 수(템플릿 수)가 모델의 정확도와 일반화 능력에 미치는 영향은 어떠한가?
• RQ4 특히 더 큰 부분그래프에서 기존 그래프 신경망과 비교해 IsoNN의 계산 효율성은 어떠한가?
• RQ5 명시적인 부분그래프 패턴 학습이 GCN 및 GIN과 같은 암묵적 집계 기반 방법보다 그래프 수준의 구조 정보를 더 잘 포착할 수 있는가?

주요 결과

• IsoNN는 MUTAG, PTC, HIV-fMRI, HIV-DTI, BP-fMRI 등 다섯 개인 기준 데이터셋에서 고전적 및 최신 기술 수준의 그래프 분류 방법을 모두 초월한다.
• 최적의 커널 크기는 데이터셋에 따라 달라지며, HIV-fMRI에서는 k=2, HIV-DTI 및 MUTAG에서는 k=4, BP-fMRI에서는 k=3일 때 최고의 성능를 기록한다.
• 채널 수(템플릿 수)는 일정 수준까지 성능 향상을 이끌지만, 이후 수익 감소 현상이 나타나며, 각 데이터셋에 대해 최적의 값은 각각 c=3, 2, 1, 1, 2로 나타나 복잡도의 한계를 시사한다.
• 시간 비용은 커널 크기가 증가함에 따라 순열 행렬 수 증가로 인해 지수적으로 증가하지만, 채널 수 증가는 선형적인 시간 증가를 초래한다.
• IsoNN-fast는 커널 크기가 4를 초과할 경우 전수 순열 탐색을 고유값 분해로 대체함으로써 훈련 시간을 크게 단축시키며, 이는 이론적 효율성 향상의 타당성을 입증한다.
• GCN 및 GIN과 비교해 IsoNN는 표현에서 명시적인 부분그래프 구조를 유지하며, 특징 집계 과정에서 발생하는 그래프 수준의 부분구조 정보 손실을 방지한다.