[논문 리뷰] All Graphs Lead to Rome: Learning Geometric and Cycle-Consistent Representations with Graph Convolutional Networks

Stephen Phillips, Kostas Daniilidis|arXiv (Cornell University)|2019. 01. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 30인용 수 9

한 줄 요약

이 논문은 쌍별 대응관계에서 기하학적이고 사이클 일관성 있는 표현을 학습함으로써, 지도 학습이 아닌 다중 이미지 특징 매칭을 위한 그래프 컬러지언 네트워크(GCN)-기반 방법을 제안한다. 지도 학습 레이블이 없이도 사이클 일관성과 기하학적 제약 조건을 손실 신호로 사용함으로써, 최적화 기반 기준 모델과 경쟁 가능한 정확도를 달성하면서도 추론 시 단일 순방향 전파로 훨씬 빠른 성능을 발휘한다.

ABSTRACT

Image feature matching is a fundamental part of many geometric computer vision applications, and using multiple images can improve performance. In this work, we formulate multi-image matching as a graph embedding problem then use a Graph Convolutional Network to learn an appropriate embedding function for aligning image features. We use cycle consistency to train our network in an unsupervised fashion, since ground truth correspondence is difficult or expensive to aquire. In addition, geometric consistency losses can be added at training time, even if the information is not available in the test set, unlike previous approaches that optimize cycle consistency directly. To the best of our knowledge, no other works have used learning for multi-image feature matching. Our experiments show that our method is competitive with other optimization based approaches.

연구 동기 및 목표

• 다중 이미지 간 쌍별 특징 매칭에서 발생하는 전반적인 일관성 문제를 사이클 일관성 강제 조건을 통해 해결한다.
• 다중 시점 매칭을 위한 딥 네트워크 학습에 비용이 많이 드는 수작업 레이블링이 필요 없도록 한다.
• 학습 시 기하학적 일관성 손실(예: 에피포라 제약 조건)을 통합함으로써, 테스트 시 이러한 데이터가 제공되지 않더라도 성능을 향상시킨다.
• 대응관계 그래프에 직접 작용하는 딥 러닝 프레임워크를 개발하여 다양한 이미지 세트 간에 강력한 특징 매칭을 가능하게 한다.
• 단순한 GCN에 비지도 사이클 일관성 손실를 적용했을 때, 복잡한 최적화 기반 방법과 비교해 정확도는 뛰어나거나 동등하면서도 추론 속도가 훨씬 빠른 성능을 달성함을 입증한다.

제안 방법

• 노드가 이미지 특징이고, 간선이 잠정적 대응관계를 나타내는 대응관계 그래프를 사용하여 다중 이미지 특징 매칭 문제를 그래프 임베딩 문제로 재구성한다.
• ReLU 활성화 함수와 스킵 연결을 사용한 12층의 그래프 컬러지언 네트워크(GCN)를 적용하여 인접행렬의 저차원, 사이클 일관성 있는 임베딩을 학습한다.
• 지식 기반 레이블이 필요 없는 조건에서, GCN 출력에서 유도된 유사도 행렬과 노이즈가 많은 입력 인접행렬 간의 재구성 손실을 사용해 GCN를 훈련한다.
• 학습 시 기하학적 일관성 손실(예: 에피포라 제약 조건)을 통합함으로써 성능을 향상시키며, 테스트 시 이러한 정보가 필요하지 않다.
• 배치 조정된 3D 복원 결과에서 유도된 진짜 인접행렬과 비교하는 소프트 레이블 평가 프로토콜을 사용한다.
• 입력, 6번째, 12번째 레이어 간의 스킵 연결을 활용하여 학습 안정성과 수렴성 및 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 지도 학습 기반 대응관계가 없는 조건에서, 비지도 GCN 기반 접근법이 기하학적으로 일관성 있고 사이클 일관성 있는 특징 표현을 학습할 수 있는가?
• RQ2 에피포라 제약 조건과 같은 기하학적 일관성 손실가 훈련에 얼마나 기여하는가? 특히 테스트 시 이러한 제약 조건이 제공되지 않는 조건에서도 말이다.
• RQ3 정확도와 추론 속도 측면에서, 기존의 최적화 기반 사이클 일관성 방법과 비교했을 때 GCN 기반 학습 방법의 성능은 어떠한가?
• RQ4 최소한의 아키텍처 복잡성(예: 12층)을 가진 딥 GCN 아키텍처가 Rome16K와 같은 실세계 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 GCN 아키텍처에 스킵 연결을 도입함으로써 학습 안정성과 최종 성능 향상이 실제로 유의미하게 향상되는가?

주요 결과

• GCN 모델은 높은 노이즈를 가진 합성 그래프의 진짜 기반 구조를 성공적으로 복원하여, 노이즈가 많은 초기 기술자 특징에 대해 강건함을 입증한다.
• Rome16K 데이터셋에서, 이 방법은 추론 시 단일 순방향 전파만으로도 25~50회 반복을 요구하는 MatchALS와 유사한 정확도를 달성한다.
• 매칭 품질과 일관성 측면에서, 단순한 스펙트럼 기반 기준 모델보다 상당히 뛰어난 성능을 보인다.
• PGDDS 방법의 정확도를 넘어서지는 못했지만, 훨씬 더 빠른 추론 시간을 기록한다.
• 스킵 연결의 포함 여부가 학습 수렴성과 최종 성능 향상에 기여함을 보조 자료를 통해 검증하였다.
• Hinton 다이어그램을 통한 임베딩 시각화 결과, 모델이 기하학적으로 정렬된 적절한 방향으로 회전했을 때 진짜 값과 잘 일치하는 해석 가능한 저랭크 표현을 학습하고 있음을 확인했다.