[논문 리뷰] Graph Matching with Bi-level Noisy Correspondence

Yijie Lin, Mouxing Yang외 4명|arXiv (Cornell University)|2022. 12. 08.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 애너테이션 오류로 인해 노드 수준과 엣지 수준의 대응관계가 손상된 상황에서 발생하는 그래프 매칭의 새로운 과제인 이중 수준 노이즈 대응(Bi-level Noisy Correspondence, BNC)을 제안한다. 저자들은 대조 학습과 모멘타임 디스틸레이션을 활용한 강건한 대조 매칭 방법인 COMMON을 제안하며, 이는 강건한 이차 대조 손실과 모멘타임 티처 모델을 통한 적응형 노이즈 페널티를 통해 노이즈가 있는 애너테이션에도 불구하고 세 가지 실세계 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we study a novel and widely existing problem in graph matching (GM), namely, Bi-level Noisy Correspondence (BNC), which refers to node-level noisy correspondence (NNC) and edge-level noisy correspondence (ENC). In brief, on the one hand, due to the poor recognizability and viewpoint differences between images, it is inevitable to inaccurately annotate some keypoints with offset and confusion, leading to the mismatch between two associated nodes, i.e., NNC. On the other hand, the noisy node-to-node correspondence will further contaminate the edge-to-edge correspondence, thus leading to ENC. For the BNC challenge, we propose a novel method termed Contrastive Matching with Momentum Distillation. Specifically, the proposed method is with a robust quadratic contrastive loss which enjoys the following merits: i) better exploring the node-to-node and edge-to-edge correlations through a GM customized quadratic contrastive learning paradigm; ii) adaptively penalizing the noisy assignments based on the confidence estimated by the momentum teacher. Extensive experiments on three real-world datasets show the robustness of our model compared with 12 competitive baselines. The code is available at https://github.com/XLearning-SCU/2023-ICCV-COMMON.

연구 동기 및 목표

• 노드 수준과 엣지 수준의 대응관계가 애너테이션 오류로 인해 손상된 상황에서 발생하는 아직 탐색이 부족한 그래프 매칭 문제인 이중 수준 노이즈 대응(Bi-level Noisy Correspondence, BNC)을 해결하기 위해.
• 사전에 노이즈 레이블이나 검증 데이터를 필요로 하지 않고도 노이즈 대응관계에 강건한 방법을 개발하기 위해.
• 선형(노드-노드) 및 이차(엣지-엣지) 기하 정보를 대조 학습 프레임워크에 통합하여 정렬 성능을 향상시키기 위해.
• 딥 네트워크의 기억화 행동을 활용하여, 모멘타임 티처 모델을 통해 노이즈 인식 학습을 위한 고품질의 가짜 타겟을 생성하기 위해.

제안 방법

• 이 방법은 그래프 기하 일관성 정규화를 사용하여 노드-노드 및 엣지-엣지 유사도를 명시적으로 모델링하는 강건한 이차 대조 손실을 활용한다.
• 대조 학습 목표에 이차 구조적 정보를 통합하기 위해 두 가지 새로운 정규화를 도입하여 노드와 엣지 간의 상관관계 모델링을 향상시킨다.
• 학습 중에 안정적인 가짜 타겟을 생성하기 위해 모멘타임 티처 네트워크를 사용한다. 이는 깊은 네트워크가 노이즈를 피 fitting하기 전에 깨끗한 패턴을 먼저 기억하기 때문이며.
• 학생 모델의 예측을 모멘타임 티처의 출력과 비교하여 낮은 신뢰도의 할당에 대해 적응형 페널티를 적용함으로써, 노이즈 대응관계의 영향을 줄인다.
• 아키텍처는 VGG16 기반의 이미지 인코더, 데라운레이 트라이앵귤레이션을 사용한 SplineCNN를 통한 그래프 컨볼루션, 그리고 256차원 임베딩으로의 특징 투영을 위한 이중층 프로젝션 헤드로 구성된다.
• 최종적으로 노드 유사도 행렬과 엣지 인접 행렬은 투영된 특징 간의 행렬 곱셈을 통해 계산되며, 이는 대조 손실의 기초가 된다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 노드 및 엣지 수준의 대응관계가 있는 이중 수준 노이즈 대응(Bi-level Noisy Correspondence)이 기존 그래프 매칭 방법의 성능에 어떤 영향을 미치는가?
• RQ2 노이즈 조건 하에서 선형 및 이차 유사도를 효과적으로 모델링할 수 있도록 대조 학습 프레임워크를 확장할 수 있는가?
• RQ3 사전에 노이즈 정보를 제공받지 않은 상황에서도 모멘타임 디스틸레이션 전략이 노이즈 대응관계에 대한 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 기하 일관성 정규화를 통합함으로써 모델이 신뢰할 수 있는 노드 수준 및 엣지 수준의 대응관계를 학습하는 데 어떤 정도로 기여하는가?

주요 결과

• 제안된 COMMON 방법은 세 가지 실세계 그래프 매칭 벤치마크에서 최신 기준 성능을 달성하며, 12개의 경쟁적 베이스라인을 모두 능가한다.
• 광범위한 아블레이션 연구를 통해 이차 대조 손실과 모멘타임 디스틸레이션 모두가 노이즈 대응관계에 대한 강건성에 필수적임을 확인한다.
• Pascal VOC 및 SPair-71k에서의 시각화 결과에 따르면, 낮은 식별성과 큰 시야각 차이를 가진 도전적인 케이스에서 매칭 정확도가 크게 향상된다.
• 모멘타임 디스틸레이션 전략은 학생 모델이 손상된 애너테이션을 노출된 상태에서도 티처 모델의 안정적인 예측을 활용하여 노이즈 쌍의 영향을 효과적으로 줄인다.
• 모멘타임 네트워크를 추가함에도 불구하고 추론 속도는 표준 모델과 동일하며, 학습 시간은 기준 모델의 약 1.4배에 불과하다.