[논문 리뷰] Universal Correspondence Network

Christopher Choy, JunYoung Gwak외 2명|arXiv (Cornell University)|2016. 06. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 257

한 줄 요약

본 논문은 일반적인 시각 대응을 위한 심층 메트릭 학습 프레임워크(UCN)를 제시합니다. 이는 기하학적 및 의미 매칭을 가능하게 하는 완전 합성곱 아키텍처, 새로운 대응 대조 손실, 그리고 패치 정규화를 위한 합성곱 공간 변환기를 통해 구현됩니다.

ABSTRACT

We present a deep learning framework for accurate visual correspondences and demonstrate its effectiveness for both geometric and semantic matching, spanning across rigid motions to intra-class shape or appearance variations. In contrast to previous CNN-based approaches that optimize a surrogate patch similarity objective, we use deep metric learning to directly learn a feature space that preserves either geometric or semantic similarity. Our fully convolutional architecture, along with a novel correspondence contrastive loss allows faster training by effective reuse of computations, accurate gradient computation through the use of thousands of examples per image pair and faster testing with $O(n)$ feed forward passes for $n$ keypoints, instead of $O(n^2)$ for typical patch similarity methods. We propose a convolutional spatial transformer to mimic patch normalization in traditional features like SIFT, which is shown to dramatically boost accuracy for semantic correspondences across intra-class shape variations. Extensive experiments on KITTI, PASCAL, and CUB-2011 datasets demonstrate the significant advantages of our features over prior works that use either hand-constructed or learned features.

연구 동기 및 목표

• 시각 대응에 대해 기하학적 및 의미적 유사성이 직접 보존되도록 특징 공간 학습의 필요성을 제시한다.
• 밀집하고 확장 가능한 특징 추출과 효율적인 테스트를 가능하게 하는 완전 합성곱 네트워크를 개발한다.
• 이미지 쌍당 수천 개의 대응으로 효율적으로 학습할 수 있는 대응 대조 손실을 도입한다.
• 패치 정규화를 모방하고 클래스 내 변이 불변성을 향상시키기 위해 합성곱 공간 변환기를 제안한다.
• KITTI, PASCAL, CUB 등의 기하학적 및 의미 매칭 벤치마크에서 최첨단 성능을 보여준다.

제안 방법

• 해당 점들이 가까운 특징을 가지고 비대응 점이 마진 m으로 분리되도록 메트릭 공간을 학습하기 위해 완전 합성곱 네트워크를 학습한다.
• 이미지 쌍당 수천 개의 대응에 따라 확장되는 대응 대조 손실을 사용하여 테스트 시 O(n) 패스를 가능하게 하고 O(n^2)가 되지 않게 한다.
• 가장 정보가 풍부한 음수를 집중 학습하도록 즉시(온더플라이) 하드 네거티브 마이닝을 도입한다.
• 패치 정규화와 어파인 왜곡에 대한 불변성을 위해 각 키포인트에 독립적인 공간 변환을 적용하는 합성곱 공간 변환기를 추가한다.
• 채널별 L2 정규화와 함께 밀집하게 특징을 추출하고 테스트 시 특징 공간에서 최근접 이웃 매칭을 수행한다.
• 구성 요소의 기여도를 평가하기 위한 선택적 시암/대조 변형 및 제거 실험(하드 네거티브 마이닝, 공간 변환기).

실험 결과

연구 질문

• RQ1 강건하고 비구조적 변형에서도 기하학적 및 의미 매칭에 대해 학습된 메트릭 공간을 직접 최적화할 수 있는가?
• RQ2 밀집 특징 추출을 통한 완전 합성곱 아키텍처가 대응 작업의 학습 및 테스트를 더 빠르게 가능하게 하는가?
• RQ3 대응 특화 손실과 하드 네가티브 마이닝이 패치 유사성 기반 접근법보다 대응 정확도를 향상시키는가?
• RQ4 합성곱 공간 변환기가 의미 매칭에서 클래스 내 형태 변이에 대한 강건성을 향상시키는가?
• RQ5 UCN이 기하학적 및 의미 매칭 벤치마크에서 손으로 설계된 방법 및 기존 학습 방법과 비교해 얼마나 우수한가?

주요 결과

방법	SIFT-NN	HOG-NN	SIFT-flow	DaisyFF	DSP	DM 최적	Ours-HN	Ours-HN-ST
MPI-Sintel	68.4	71.2	89.0	87.3	85.3	89.2	91.5	90.7
KITTI	48.9	53.7	67.3	79.6	58.0	85.6	86.5	83.4

• UCN은 기하학적 및 의미 작업 모두에서 밀집하고 정확한 대응을 달성하며 여러 벤치마크에서 기존 방법을 능가한다.
• KITTI 흐름 및 MPI-Sintel에서 하드 네가티브 마이닝 및 공간 변환기를 포함한 UCN 변형이 최고 성능에 도달하며, 예를 들어 MPI-Sintel에서: Ours-HN 91.5 및 Ours-HN-ST 90.7(PCK 척도).
• KITTI 결과는 표 3에서 Ours-HN 86.5 및 Ours-HN-ST 83.4로 강력한 성능을 보여주며 전통적 및 CNN 기반 비교대상들을 상회한다.
• PASCAL-Berkeley 및 CUB 데이터셋에서 합성곱 공간 변환기를 통해 의미 대응이 크게 개선되며 이전 방법에 비해 현저한 이득을 가져온다.
• UCN 특징을 사용한 KITTI 원시 시퀀스의 카메라 운동 추정은 희소한 기준선 대비 필수 매트랙스 분해 결과에서 경쟁력 있는 성능을 보인다.
• 후처리(전역 MRF 최적화 등)에 의존하지 않고도 학습된 메트릭 공간과 밀집 특징의 강점을 보여주는 우수한 성능을 얻는다.