[논문 리뷰] Deep Graph Matching Consensus

Matthias Fey, Jan Eric Lenssen외 3명|arXiv (Cornell University)|2020. 01. 27.

Advanced Graph Neural Networks참고 문헌 105인용 수 56

한 줄 요약

two-stage, end-to-end 신경망 구조를 사용한 그래프 매칭 학습 및 정제. 초기 소프트 매칭에 대한 지역 임베딩을 먼저 계산하고, 그 후 동기화된 메시지 전달을 통해 이웃 합의에 도달하도록 반복적으로 정제합니다.

ABSTRACT

This work presents a two-stage neural architecture for learning and refining structural correspondences between graphs. First, we use localized node embeddings computed by a graph neural network to obtain an initial ranking of soft correspondences between nodes. Secondly, we employ synchronous message passing networks to iteratively re-rank the soft correspondences to reach a matching consensus in local neighborhoods between graphs. We show, theoretically and empirically, that our message passing scheme computes a well-founded measure of consensus for corresponding neighborhoods, which is then used to guide the iterative re-ranking process. Our purely local and sparsity-aware architecture scales well to large, real-world inputs while still being able to recover global correspondences consistently. We demonstrate the practical effectiveness of our method on real-world tasks from the fields of computer vision and entity alignment between knowledge graphs, on which we improve upon the current state-of-the-art. Our source code is available under https://github.com/rusty1s/ deep-graph-matching-consensus.

연구 동기 및 목표

• 그래프 매칭을 노드 유사성과 간선으로 유발되는 이웃 구조의 결합 작업으로서 동기를 부여한다.
• 로컬 임베딩을 활용한 초기 매칭과 로컬 합의를 통한 정제를 가능하게 하는 확장성 있는 엔드-투-엔드 미분 가능 접근법을 개발한다.
• 방법이 순수하게 로컬이고 희소성을 인지하도록 하여 실제 대형 그래프를 처리한다.
• 컴퓨터 비전 키포인트 매칭 및 크로스 그래프 엔티티 정렬 태스크에서 성능 향상을 입증한다.

제안 방법

• 두 그래프 모두에서 공유된 그래프 신경망 Ψ_{θ1}으로 초기 노드 임베딩을 계산한다.
• H_s H_t^T를 통해 초기 소전달(S^(0))을 얻고 Sinkhorn 정규화를 적용하여 직사각형 이중 확률 행렬을 생성한다.
• ground truth를 상대로 올바른 매칭의 가능도를 최대화하도록 Ψ_{θ1}를 학습한다.
• 또 다른 GNN Ψ_{θ2}를 사용한 동기화된 메시지 전달을 통해 이웃 합의를 평가하며 매칭을 정제한다.
• S를 통해 노드 지표 함수들을 매핑하고 이웃 표현을 비교하여 지역 불일치 d_{i,j}를 얻고, 이를 학습 가능한 업데이트 Φ_{θ3}가 사용하여 S^(l+1)을 업데이트하고 Sinkhorn으로 다시 정규화한다.
• L(initial) + L(refined)로 전체 시스템을 엔드-투-엔드로 학습한다.
• 확장성을 위해 초기 매칭을 희소화하고, 임의의 노드 함수들을 사용하며 정제 과정에서 행 단위 소프트맥스 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 두 단계로 로컬하게 동작하는 신경 그래프 매처가 추론 시 전역 최적화를 해결하지 않고도 정확하고 전역적으로 일관된 대응을 달성할 수 있는가?
• RQ2 동기화된 메시지 전달을 통한 이웃 합의 메커니즘이 로컬 매칭 오류를 reliably 식별하고 교정하여 부분 그래프를 정렬하는가?
• RQ3 희소화, 임의의 노드 지시자, 행 단위 정규화 같은 확장성 전략이 대형 그래프에서 성능에 어떤 영향을 미치는가?
• RQ4 엔드-투-엔드 학습이 다양한 그래프 도메인에서 로컬 특징 매칭과 이후 정제를 얼마나 개선하는가?

주요 결과

• 2단계 접근 방식은 로컬 임베딩과 이웃 합의 정제를 결합하여 매칭 성능을 향상시킨다.
• 공유된 GNN이 생성하는 이웃 불일치 신호(d_{i,j})는 로컬 불일치를 수정하는 데 탄탄한 기초를 제공한다.
• 정제 단계는 자연 영상의 키포인트 매칭 및 크로스-그래프 지식 정렬 태스크에서 비정제 기준선보다 현저히 우수하다.
• 희소화 및 효율적 정제를 통해 대형 그래프에서도 정확도를 희생하지 않고 확장 가능하다.
• Willow-ObjectClass에서 다수의 카테고리에서 초기 오류를 크게 감소시키고, PascalVOC에서 시작 매칭기가 약한 경우 최대 14% 포인트의 개선이 관측된다.