[논문 리뷰] Neural Graph Matching Network: Learning Lawler's Quadratic Assignment Problem with Extension to Hypergraph and Multiple-graph Matching

Runzhong Wang, Junchi Yan외 1명|arXiv (Cornell University)|2019. 11. 26.

Graph Theory and Algorithms참고 문헌 76인용 수 24

한 줄 요약

이 논문은 라플라스의 이차할당문제(QAP)에 직접적으로 엔드 투 엔드로 훈련할 수 있는 딥러닝 프레임워크인 신경적 그래프 매칭 네트워크(NGM)를 제안한다. 이는 매칭을 연관성 그래프 상의 제약 조건이 있는 정점 분류 문제로 공식화함으로써, 합성 QAP 및 QAPLIB 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 계산 시간을 크게 줄였다. 또한 새로운 임bedding 및 정규화 기법을 통해 하이퍼그래프 및 다중그래프 매칭으로 자연스럽게 확장된다.

ABSTRACT

Graph matching involves combinatorial optimization based on edge-to-edge affinity matrix, which can be generally formulated as Lawler's Quadratic Assignment Problem (QAP). This paper presents a QAP network directly learning with the affinity matrix (equivalently the association graph) whereby the matching problem is translated into a constrained vertex classification task. The association graph is learned by an embedding network for vertex classification, followed by Sinkhorn normalization and a cross-entropy loss for end-to-end learning. We further improve the embedding model on association graph by introducing Sinkhorn based matching-aware constraint, as well as dummy nodes to deal with unequal sizes of graphs. To our best knowledge, this is one of the first network to directly learn with the general Lawler's QAP. In contrast, recent deep matching methods focus on the learning of node/edge features in two graphs respectively. We also show how to extend our network to hypergraph matching, and matching of multiple graphs. Experimental results on both synthetic graphs and real-world images show its effectiveness. For pure QAP tasks on synthetic data and QAPLIB benchmark, our method can perform competitively and even surpass state-of-the-art graph matching and QAP solvers with notable less time cost. We provide a project homepage at http://thinklab.sjtu.edu.cn/project/NGM/index.html.

연구 동기 및 목표

• 법률의 일반 QAP 수식을 직접 최적화할 수 있는 딥러닝 방법의 부족을 해결하기 위해, 쿠페르만-베이크만 QAP를 포함하고 더 넓은 적용 가능성을 제공하는 라플라스의 일반 QAP 수식을 직접 최적화할 수 있는 방법을 개발한다.
• 분리된 특징 학습 및 조합 최적화 단계가 필요 없도록, 미분 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발한다.
• 연결성 그래프 파라다임을 일반화하여 하이퍼그래프 및 다중그래프 매칭으로까지 딥 그래프 매칭을 확장한다.
• Sinkhorn 정규화된 임베딩과 더불어 더미 노드 메커니즘을 통해 비균형 크기의 그래프에 대해 강건성과 확장성을 향상시킨다.
• 합성 및 실제 세계 데이터셋에서 러닝 프리(QAP) 솔버에 비해 경쟁 가능한 성능을 보이며, 시간 비용을 크게 줄였다.

제안 방법

• 그래프 매칭을 연관성 그래프 상의 제약 조건이 있는 정점 분류 문제로 공식화하며, 이 그래프의 노드는 잠재적인 정점 대응을 나타내고, 간선은 정점 쌍 간의 친화도를 표현한다.
• GNN 기반 임베딩 네트워크를 사용해 연관성 그래프 내의 노드 표현을 학습한 후, 순열 제약 조건을 강제하기 위해 Sinkhorn 정규화를 적용한다.
• Sinkhorn 정규화된 출력에 교차 엔트로피 손실을 적용하여 backpropagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 정렬 품질과 일반화 능력을 향상시키기 위해 Sinkhorn 기반 정규화를 통한 매칭 인식 제약 조건을 모델에 통합한다.
• 하이퍼그래프 매칭의 경우, 연관성 그래프가 연관성 하이퍼그래프로 대체되며, 미분 가능한 스펙트럼 다중매칭을 사용해 다중 그래프로 일반화된다.
• 다른 크기의 그래프를 처리하기 위해 더미 노드를 도입하여 최적화 과정에서 순열 행렬 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 별도의 특징 학습 또는 반복 정밀화 없이 라플라스의 QAP를 직접 최적화할 수 있는가?
• RQ2 신경망을 어떻게 설계하여 이원적 그래프 매칭을 넘어서 하이퍼그래프 및 다중그래프 매칭 시나리오로 일반화할 수 있는가?
• RQ3 어떤 아키텍처 구성 요소(예: Sinkhorn 정규화, 노드 유사도, SplineConv)가 매칭 정확도와 강건성에 가장 크게 기여하는가?
• RQ4 유사도 행렬에 대한 엔드 투 엔드 학습은 전통적인 러닝 프리 QAP 솔버와 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ5 이 모델은 합성, 실제 세계 이미지, QAPLIB과 같은 벤치마크 데이터셋을 포함한 다양한 그래프 구조로 얼마나 잘 일반화되는가?

주요 결과

• QAPLIB 벤치마크에서 NGM-v2는 G1000 데이터셋에서 97.5%의 정확도를 달성했으며, 50%의 시간 비용 절감으로 최신 기술 수준의 러닝 프리 솔버를 초월했다.
• 합성 QAP 작업에서 NGM-v2는 200개 정점 문제에서 97.4%의 정확도를 기록했으며, 기존의 딥러닝 및 전통적 솔버를 모두 능가했다.
• Pascal VOC Keypoint 데이터셋에서 NGM-v2는 아블레이션 연구에서 80.4%의 정확도를 달성했으며, SplineConv 특징만으로도 10.2% 향상되었다.
• Willow ObjectClass에서의 다중그래프 매칭에서 NMGM-v2는 단지 10개의 그래프로 98.2%의 정확도를 기록했으며, 더 많은 그래프를 사용하는 러닝 프리 기반인 HiPPI 및 MGM-Floyd를 능가했다.
• 아블레이션 연구는 CNN 특징과 QAP 솔버의 공동 학습이 44.0%의 정확도를 달성하며, ImageNet 특징을 사용한 RRWM의 24.0%에 비해 거의 두 배에 가까운 성능을 보임을 확인했으며, 이는 솔버의 강건성을 입증한다.
• 이 방법은 하이퍼그래프 매칭으로도 자연스럽게 일반화되며, NGM-v2는 하이퍼그래프 유사도를 사용해 Pascal VOC에서 80.4%의 정확도를 달성했으며, 이는 고차원 구조로의 확장성과 가능성을 보여준다.