[논문 리뷰] Robust Line Segments Matching via Graph Convolution Networks

Quanmeng Ma, Guang Jiang외 1명|arXiv (Cornell University)|2020. 04. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 9

한 줄 요약

이 논문은 저조도 및 도전적인 환경에서 강력한 선분 매칭을 위해 종단간 그래프 컬러리션 네트워크(GCN)-기반 방법을 제안한다. 내부 및 교차 그래프 컨볼루션과 최적 운반 이론을 활용해 국소 선 디스크립터와 매칭을 동시에 학습한다. 최적의 k 풀링을 통해 강력한 그래프 아키텍처 학습을 하고, GLpooling을 통해 종단점 불변 특징 추출을 실현함으로써 70.47%의 재현율을 달성하였으며, 이는 이전 최고 성능 대비 25% 높은 성능이다.

ABSTRACT

Line matching plays an essential role in structure from motion (SFM) and simultaneous localization and mapping (SLAM), especially in low-textured and repetitive scenes. In this paper, we present a new method of using a graph convolution network to match line segments in a pair of images, and we design a graph-based strategy of matching line segments with relaxing to an optimal transport problem. In contrast to hand-crafted line matching algorithms, our approach learns local line segment descriptor and the matching simultaneously through end-to-end training. The results show our method outperforms the state-of-the-art techniques, and especially, the recall is improved from 45.28% to 70.47% under a similar presicion. The code of our work is available at https://github.com/mameng1/GraphLineMatching.

연구 동기 및 목표

• 기존의 점 기반 방법이 실패하는 저조도, 반복적, 시점 불변성 있는 실내 환경에서 선분 매칭 문제를 해결한다.
• 종단점 정확도 부족과 시점 변화에 민감한 수작업으로 만든 디스크립터 및 기하 제약 조건의 한계를 극복한다.
• 종단간 방식으로 선분 디스크립터와 대응 매칭을 동시에 학습하는 통합된 딥러닝 프레임워크를 개발한다.
• 불변 특징 학습과 그래프 기반의 맥락 집약을 통해 기울기, 확대, 흐림, 조명 변화 등의 이미지 변환에 대한 강건성을 향상시킨다.

제안 방법

• 각 선분 중심의 직사각형 영역에서 특징을 추출하는 선형 특징 학습 모듈을 도입하여 종단점 정확도 부족에 대한 민감도를 감소시킨다.
• 세 가지 구성 요소를 갖는 그래프 컨볼루션 네트워크를 활용한다: 최적의 k 풀링을 통한 그래프 아키텍처 학습, 국소 맥락을 위한 내부 그래프 컨볼루션, 이중 이미지 특징 정렬을 위한 교차 그래프 컨볼루션.
• 학습 가능한 최적의 k 풀링 전략을 적용하여 불량 관계를 피하고, 특히 매칭되지 않은 선이 많은 데이터셋에서도 강력하고 희박한 그래프 연결을 구축한다.
• 최적 운반 이론을 사용해 선 집합 간 할당 행렬을 계산하여, 미분 가능하고 소프트한 매칭과 비매칭 요소의 필터링을 가능하게 한다.
• 매칭된 선에 대해 디스크립터의 밀도를 향상시키고, 매칭되지 않은 선에 대해 불일치를 증가시키는 특징 학습 손실을 통합하여 분류 성능를 향상시킨다.
• 선분의 점들에서 특징을 집약하기 위해 GLpooling을 적용하여 종단점 이동에 대해 더 안정적이고 불변적인 디스크립터를 생성한다.

실험 결과

연구 질문

• RQ1 수작업 또는 이중 단계 방법에 비해 통합된 딥러닝 프레임워크가 국소 선분 디스크립터와 매칭 결정을 더 효과적으로 동시에 학습할 수 있는가?
• RQ2 그래프 기반 맥락 집약은 저조도 및 시점 불변성 있는 환경에서 매칭의 강건성을 어떻게 향상시키는가?
• RQ3 최적의 k 풀링 기반 그래프 아키텍처 학습은 매칭되지 않거나 파편화된 선이 많은 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 특징 학습 손실과 GLpooling은 종단점 정확도 부족과 이미지 변환에 대해 어떻게 불변성을 확보하는가?
• RQ5 어려운 조건에서도 기존 최고 기술에 비해 유의미하게 높은 재현율을 달성하면서도 높은 정밀도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 유사한 정밀도(86.12% 대 85.46%)를 유지하면서도 70.47%의 재현율을 달성하였으며, 이는 이전 최고 기술인 LJL(45.29% 재현율) 대비 상대적 향상 25.19%에 해당한다.
• 높은 정밀도(86.12%)를 유지하면서 F-측정치 77.51%를 기록하여, LJL, LPI, MSLD를 포함한 모든 기준 모델을 초월한다.
• 제거 실험 결과, 최적의 k 그래프 학습을 제거하면 재현율이 2.63% 감소(69.46% → 66.83%)함을 확인하여, 매칭되지 않은 선을 다룰 때의 중요성을 입증한다.
• GLpooling을 사용할 경우 원시 선점 특징을 사용하는 것보다 재현율이 2.63% 향상되어 종단점 오차 민감도 감소에 효과적임을 입증한다.
• 특히 재현율 측면에서 기울기, 확대, 흐림에 대해 뛰어난 강건성을 보이며, 모든 변환 유형에서 LJL을 모두 초월한다.
• 정성적 결과는 본 방법이 저조도 및 흐린 환경에서 더 많은 올바른 매칭(파란 선)과 더 적은 잘못된 매칭(빨간 선)을 생성함을 확인한다.