[논문 리뷰] DGCNN: Disordered Graph Convolutional Neural Network Based on the Gaussian Mixture Model

Bo Wu, Yang Liu외 2명|arXiv (Cornell University)|2017. 12. 10.

Advanced Graph Neural Networks참고 문헌 14인용 수 5

한 줄 요약

이 논문은 불규칙한 그래프 이웃 구조에서 그래프 정규화를 필요로 하지 않고 엔드 투 엔드 학습을 가능하게 하는 DGCNN을 제안한다. 이는 가우시안 믹스처 모델(GMM)을 사용하여 순서가 없고 크기가 변하는 노드 이웃 구조에 대해 조합적 커널 파라미터를 샘플링함으로써 동적으로 적응하는 모델이다. 이로 인해 정보 손실이 감소하고 그래프 분류 및 검색 작업에서 최신 기법들을 능가한다.

ABSTRACT

Convolutional neural networks (CNNs) can be applied to graph similarity matching, in which case they are called graph CNNs. Graph CNNs are attracting increasing attention due to their effectiveness and efficiency. However, the existing convolution approaches focus only on regular data forms and require the transfer of the graph or key node neighborhoods of the graph into the same fixed form. During this transfer process, structural information of the graph can be lost, and some redundant information can be incorporated. To overcome this problem, we propose the disordered graph convolutional neural network (DGCNN) based on the mixed Gaussian model, which extends the CNN by adding a preprocessing layer called the disordered graph convolutional layer (DGCL). The DGCL uses a mixed Gaussian function to realize the mapping between the convolution kernel and the nodes in the neighborhood of the graph. The output of the DGCL is the input of the CNN. We further implement a backward-propagation optimization process of the convolutional layer by which we incorporate the feature-learning model of the irregular node neighborhood structure into the network. Thereafter, the optimization of the convolution kernel becomes part of the neural network learning process. The DGCNN can accept arbitrary scaled and disordered neighborhood graph structures as the receptive fields of CNNs, which reduces information loss during graph transformation. Finally, we perform experiments on multiple standard graph datasets. The results show that the proposed method outperforms the state-of-the-art methods in graph classification and retrieval.

연구 동기 및 목표

• 기존 CNN이 크기가 변하고 순서가 없는 이웃 구조를 처리하는 데에 한계가 있음을 해결하기 위해.
• 영역을 채우거나 잘라내는 등의 그래프 정규화 기법으로 인한 정보 손실을 제거하기 위해.
• 불규칙한 노드 이웃 구조에서 컨볼루션 커널을 백프로파게이션 기반 최적화로 직접 학습할 수 있도록 하기 위해.
• 고정된 그래프 표현에 의존하지 않는 파라미터 학습 메커니즘을 개발하기 위해.
• 표준 벤치마크 데이터셋에서 그래프 분류 및 유사도 매칭 성능을 향상시키기 위해.

제안 방법

• 고정된 크기의 표현이 아닌 연속적인 GMM 기반 파라미터 공간으로 이웃 노드를 매핑하는 불규칙한 그래프 컨볼루션 레이어(DGCL)를 도입한다.
• 혼합 가우시안 함수를 사용하여 컨볼루션 커널과 불규칙한 노드 이웃 간의 관계를 모델링하고, 이로써 이산적 파라미터 학습을 연속적 파라미터 샘플링으로 전환한다.
• GMM 샘플링 과정을 통해 백프로파게이션을 가능하게 하여 컨볼루션 커널 파라미터를 신경망의 나머지 부분과 함께 공동 최적화할 수 있도록 한다.
• GMM 파라미터를 학습 가능한 가중치로 간주하여 각 이웃 구조에 최적의 커널 구성이 자동으로 학습되도록 한다.
• 패딩이나 잘라내기 없이도 임의의 크기와 순서가 없는 그래프 구조를 수신 필드로 처리한다.
• 표준 CNN 레이어 이전의 전처리 레이어로 DGCL을 통합하여 변환된 특징에 대해 표준 CNN 연산을 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 그래프 정규화 없이도 크기가 변하고 순서가 없는 노드 이웃을 직접 처리할 수 있는 그래프 컨볼루션 네트워크를 설계할 수 있는가?
• RQ2 고정된 크기의 이웃 표현에 비해 GMM 기반 파라미터 샘플링은 불규칙한 그래프 구조에서 특징 학습을 어떻게 향상시키는가?
• RQ3 제안된 DGCNN은 그래프 분류 및 검색 작업에서 기존의 그래프 CNN 및 그래프 커널보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 그래프 데이터셋에 최적의 가우시안 성분 수는 얼마인가?
• RQ5 DGCNN의 계산 효율성은 기존의 그래프 컨볼루션 방법과 비교해 어떻게 되는가?

주요 결과

• DGCNN은 PTC, AIDS, PROTEIN, D&D, COLLAB 등의 표준 그래프 데이터셋에서 최신 기법들을 능가하는 최고 성능을 기록하였다. 기존 g-CNN 및 그래프 커널보다 뛰어난 성능을 보였다.
• PTC 데이터셋의 경우, 가우시안 성분 수 m이 5에서 15로 증가할수록 정밀도가 크게 향상되고, 그 이상에서는 안정화되며, m=15에서 최적 성능을 기록하였다.
• AIDS 데이터셋의 경우, 최적의 성분 수는 m=20이며, 이때 정밀도가 최고에 도달하고 더 높은 값에서도 안정성을 유지하였다.
• PROTEIN 데이터셋의 경우, 최고 성능은 m=15에서 달성되었으며, 그 이상에서도 정밀도가 안정화되었다.
• 더 큰 크기의 COLLAB 데이터셋의 경우, m=25에서 가장 높은 분류 정확도를 기록하였고, 이는 복잡하고 대규모 그래프에 더 많은 성분이 필요함을 시사한다.
• DGCNN의 실행 시간은 다른 최신 기법들과 유사하며, GMM 파라미터 샘플링으로 인해 약간 증가하지만 여전히 같은 주기대역 내에 있다 (예: COLLAB에서 PSCH보다 47초 느리지만 실세계 적용에 있어 여전히 효율적이다).