[논문 리뷰] GLMNet: Graph Learning-Matching Networks for Feature Matching

Bo Jiang, Pengfei Sun외 2명|arXiv (Cornell University)|2019. 11. 18.

Advanced Graph Neural Networks참고 문헌 23인용 수 23

한 줄 요약

GLMNet는 그래프 구조 학습, 라플라시안 샤프닝을 통한 분류성 노드 임베딩, 그리고 일대일 매칭 제약 조건을 새로운 정규화 손실을 통해 통합 최적화하는 엔드 투 엔드 그래프 학습-매칭 네트워크를 제안한다. 이는 PASCAL VOC 및 WILLOW-ObjectClass 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 GCN 기반 방법보다 평균 정확도에서 최대 3.7%와 11.5% 향상된다.

ABSTRACT

Recently, graph convolutional networks (GCNs) have shown great potential for the task of graph matching. It can integrate graph node feature embedding, node-wise affinity learning and matching optimization together in a unified end-to-end model. One important aspect of graph matching is the construction of two matching graphs. However, the matching graphs we feed to existing graph convolutional matching networks are generally fixed and independent of graph matching, which thus are not guaranteed to be optimal for the graph matching task. Also, existing GCN matching method employs several general smoothing-based graph convolutional layers to generate graph node embeddings, in which extensive smoothing convolution operation may dilute the desired discriminatory information of graph nodes. To overcome these issues, we propose a novel Graph Learning-Matching Network (GLMNet) for graph matching problem. GLMNet has three main aspects. (1) It integrates graph learning into graph matching which thus adaptively learn a pair of optimal graphs that best serve graph matching task. (2) It further employs a Laplacian sharpening convolutional module to generate more discriminative node embeddings for graph matching. (3) A new constraint regularized loss is designed for GLMNet training which can encode the desired one-to-one matching constraints in matching optimization. Experiments on two benchmarks demonstrate the effectiveness of GLMNet and advantages of its main modules.

연구 동기 및 목표

• 딥 그래프 매칭 모델에서 고정된 수작업 그래프의 한계를 해결하기 위해, 이는 매칭 작업에 최적화되지 않을 수 있음을 목표로 한다.
• 표준 GCN에서 발생하는 특징 스무딩 문제를 해결하기 위해, 이는 매칭 시나리오에서 분류성 있는 노드 정보를 약화시킬 수 있음을 목표로 한다.
• 학습 중에 일대일 매칭 제약 조건을 더 효과적으로 통합하여, 표준 정규화 방법을 초월해 예측 정확도를 향상시키는 것을 목표로 한다.
• 그래프 학습, 임베딩 생성, 매칭 최적화를 하나의 엔드 투 엔드 학습 가능한 아키텍처로 통합하는 것을 목표로 한다.

제안 방법

• 매칭 파이프라인에 그래프 학습을 통합하여, k-NN나 데라운이 삼각형과 같은 고정된 구조에 의존하는 대신, 각 매칭 작업에 최적의 그래프를 적응적으로 학습할 수 있도록 한다.
• 표준 GCN의 스무딩 효과를 보완하기 위해, 이웃에서 멀어지도록 노드 임베딩을 향상시키는 라플라시안 샤프닝 컨볼루션 모듈을 적용한다.
• 학습 중에 일대일 매칭 제약 조건을 명시적으로 인코딩하는 제약 조건 정규화 손실 함수를 설계하여, 예측의 일관성과 정확도를 향상시킨다.
• 학습 가능한 인접 행렬을 사용하는 대칭 GCN 아키텍처를 활용하여, 엔드 투 엔드 방식으로 노드 특징과 그래프 토폴로지를 동시에 최적화한다.
• 노드 특징과 매칭 목표에 기반하여 그래프 구조를 업데이트하는 가역적 그래프 구축 메커니즘을 적용한다.
• 손실 함수에 매칭 정확도와 제약 조건 이행도를 통합하여, 백프로파게이션을 사용해 전체 네트워크를 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 적응형 그래프 학습은 고정된 그래프 구조에 비해 딥 그래프 매칭 성능을 향상시키는가?
• RQ2 라플라시안 샤프닝은 특징 매칭을 위한 표준 그래프 컨볼루션에 비해 더 분류성 있는 노드 임베딩을 생성하는가?
• RQ3 제약 조건 정규화 손실은 표준 이중 스토하스틱 정규화에 비해 일대일 매칭 예측의 정확도를 향상시키는가?
• RQ4 GLMNet의 구성 요소인 그래프 학습, 샤프닝, 정규화가 개별적으로 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• GLMNet는 PASCAL VOC 데이터셋에서 가장 유사한 베이스라인인 PCA-GM [24]보다 3.7% 향상되어 특징 매칭에서의 우수성을 입증한다.
• WILLOW-ObjectClass 데이터셋에서는 PCA-GM-Willow에 비해 2.4% 향상되고 GMN-Willow에 비해 11.5% 향상되어 다양한 객체 클래스에 걸쳐 뛰어난 강건성을 보여준다.
• 제거 실험 결과, 그래프 학습, 라플라시안 샤프닝, 제약 조건 정규화 각각이 성능 향상에 크게 기여하며, 특히 그래프 학습이 가장 큰 기여를 한다.
• qualitative 예시에서 볼 수 있듯이, GLMNet는 외관과 자세의 큰 변화가 있는 상황에서도 특징 점을 성공적으로 매칭한다.
• 제약 조건 정규화 손실은 일대일 매칭을 효과적으로 강제하여 잘못된 할당을 줄이고 최종 예측의 일관성을 향상시킨다.
• 제거 실험 결과, 세 핵심 구성 요소 중 어느 하나라도 제거하면 정확도가 유의미하게 감소함을 확인하여, 각 요소의 필요성을 검증한다.