[논문 리뷰] Deep Graph Matching via Blackbox Differentiation of Combinatorial Solvers

Michal Rolínek, Paul Swoboda외 4명|arXiv (Cornell University)|2020. 03. 25.

Graph Theory and Algorithms참고 문헌 59인용 수 72

한 줄 요약

이 논문은 상태의 최고 성능을 기록한 관점 다름이 있는 쌍점 대응 벤치마크에서 최고의 성능을 내는 엔드 투 엔드 미분 가능한 그래프 매칭 아키텍처를 제안한다. 고도로 최적화된 라그랑주 분해 솔버를 활용하고 전역 특징 주의 메커니즘을 통합함으로써, 특히 도전적인 시점 다름이 있는 쌍점 쌍에서 뛰어난 정확도를 달성하면서도, 다중 그래프 매칭 솔버를 통한 후처리 기능을 유지한다.

ABSTRACT

Building on recent progress at the intersection of combinatorial optimization and deep learning, we propose an end-to-end trainable architecture for deep graph matching that contains unmodified combinatorial solvers. Using the presence of heavily optimized combinatorial solvers together with some improvements in architecture design, we advance state-of-the-art on deep graph matching benchmarks for keypoint correspondence. In addition, we highlight the conceptual advantages of incorporating solvers into deep learning architectures, such as the possibility of post-processing with a strong multi-graph matching solver or the indifference to changes in the training setting. Finally, we propose two new challenging experimental setups. The code is available at https://github.com/martius-lab/blackbox-deep-graph-matching

연구 동기 및 목표

• 기존의 딥 그래프 매칭 방법들이 조합 최적화 솔버의 품질을 희생시키는 문제를 해결하기 위해, 고성능이지만 수정되지 않은 조합 최적화 솔버를 통합한다.
• 스플라인CNN을 통한 상대적 키포인트 위치 정보와 주목력 메커니즘을 통한 전역 이미지 특징을 통합하여 그래프 매칭의 특징 표현을 향상시킨다.
• 추론 중에 다중 그래프 매칭 솔버를 사용하여 다수의 그래프 매칭 인스턴스를 함께 해결할 수 있도록 하여 강력한 후처리를 가능하게 한다.
• 실제 시나리오에서의 내성성을 더 잘 평가하기 위해, 필터링되지 않은 키포인트 세트와 높은 시점 변화를 포함하는 더 도전적인 새로운 벤치마크 설정을 제안한다.
• 블랙박스 미분 가능한 솔버를 사용한 엔드 투 엔드 훈련이 다양한 훈련 설정에서 안정적인 최적화와 일반화를 가능하게 함을 입증한다.

제안 방법

• 이중 블록 좌표 상승 기반의 최첨단 조합 그래프 매칭 솔버를 기반으로 한 블랙박스 미분 가능한 역전파를 사용한다.
• 시각적 특징(예: VGG를 통한)과 기하적 특징(스플라인CNN을 통한 상대적 키포인트 위치)으로 그래프 매칭 인스턴스를 구성하며, 간선 비용은 학습된 특징 유사도에서 유도한다.
• 전역 이미지 임bedding을 기반으로 노드 및 간선 특징을 동적으로 재가중하는 전역 특징 주의 메커니즘을 도입하여, 시점 및 스케일 변화에 대한 내성성을 향상시킨다.
• 조합 최적화 솔버를 통한 기울기 흐름을 가능하게 하기 위해, 솔버의 내부 논리 구조를 수정하지 않은 채로 미분 가능한 래퍼를 사용한다.
• 추론 중에 다중 그래프 매칭 솔버를 사용하여 다수의 이미지 쌍에 걸쳐 예측을 동시에 개선함으로써 일致성과 정확도를 향상시킨다.
• 특징 추출 및 비용 계산 모듈에서 배치 정규화, ReLU, 스킵 연결과 같은 표준 딥 러닝 기법을 적용한다.

실험 결과

연구 질문

• RQ1 성능에 손상을 주지 않으면서, 블랙박스 조합 최적화 솔버를 엔드 투 엔드 미분 가능한 딥 러닝 파이프라인에 효과적으로 통합할 수 있는가?
• RQ2 전역 이미지 특징과 상대 기하 정보를 통합함으로써, 특히 큰 시점 변화가 있는 상황에서 매칭 정확도가 향상되는가?
• RQ3 제안된 아키텍처가 표준 및 새로 제안된 벤치마크에서 기존의 미분 가능한 그래프 매칭 방법보다 우수한 성능을 내는가, 특히 도전적인 상황에서?
• RQ4 강력하고 수정되지 않은 조합 최적화 솔버를 사용함으로써, 매칭 불가능한 키포인트에 대한 내성성과 더 나은 후처리 능력이 얼마나 향상되는가?
• RQ5 이 방법은 트랜스퍼 러닝과 제로샷 평가를 포함한 다양한 훈련 설정에서 어떻게 일반화되는가?

주요 결과

• 제안된 방법 BB-GM는 SPair-71k 벤치마크에서 최고 성능을 기록하여, 하드 시점 쌍에서 78.9% ± 0.4의 평균 정확도를 달성하며 DGMC(72.2% ± 0.2)를 크게 앞서간다.
• SPair-71k에서 BB-GM는 모든 클래스 평균 정확도 78.9%를 기록했으며, DGMC는 72.2%였고, 하드 시점 쌍에서 6.7%p의 절대적 향상이 있었다.
• Willow ObjectClass 벤치마크에서, BB-GM는 Willow에서 미세조정한 후 얼굴 및 자전거 클래스에서 각각 100.0%의 정확도를 달성했으며, DGMC(98.5% 및 98.8%)를 능가했다.
• 절단 실험 결과, 전역 특징 주의 메커니즘을 제거하면 평균 정확도가 80.1%에서 77.9%로 감소했고, 조합 최적화 솔버 대신 싱크호른 정규화를 사용할 경우에도 정확도가 77.9%로 떨어져, 솔버와 주의 메커니즘의 중요성을 입증했다.
• 이 방법은 파스칼 VOC에서 Willow로의 제로샷 전이를 포함한 다양한 훈련 설정에서도 높은 성능를 유지하며, 훈련 분포 변화에 대한 내성성을 입증했다.
• 이 아키텍처는 다중 그래프 매칭 솔버를 통한 효과적인 후처리를 가능하게 하여, 특히 어려운 모호한 매칭 상황에서 일관성과 정확도를 크게 향상시켰다.