[논문 리뷰] PDC-Net+: Enhanced Probabilistic Dense Correspondence Network

Prune Truong, Martin Danelljan외 2명|arXiv (Cornell University)|2021. 09. 28.

Human Pose and Action Recognition인용 수 4

한 줄 요약

PDC-Net+는 밀도 높은 대응 추정을 위한 확률적 딥 네트워크를 제안하며, 제약 조건이 부여된 라플라스 분포의 혼합 모델을 사용하여 광학 흐름과 불확실성을 동시에 예측함으로써, 큰 이동, 가림, 외관 변화 상황에서도 강인한 신뢰도 추정을 가능하게 한다. 이는 기하학적 매칭 및 광학 흐름 벤치마크에서 최신 기술 수준의 성능을 달성하면서도, 3D 재구성 및 자세 추정과 같은 후행 작업에서의 불확실성 캘리브레이션을 크게 향상시킨다.

ABSTRACT

Establishing robust and accurate correspondences between a pair of images is a long-standing computer vision problem with numerous applications. While classically dominated by sparse methods, emerging dense approaches offer a compelling alternative paradigm that avoids the keypoint detection step. However, dense flow estimation is often inaccurate in the case of large displacements, occlusions, or homogeneous regions. In order to apply dense methods to real-world applications, such as pose estimation, image manipulation, or 3D reconstruction, it is therefore crucial to estimate the confidence of the predicted matches. We propose the Enhanced Probabilistic Dense Correspondence Network, PDC-Net+, capable of estimating accurate dense correspondences along with a reliable confidence map. We develop a flexible probabilistic approach that jointly learns the flow prediction and its uncertainty. In particular, we parametrize the predictive distribution as a constrained mixture model, ensuring better modelling of both accurate flow predictions and outliers. Moreover, we develop an architecture and an enhanced training strategy tailored for robust and generalizable uncertainty prediction in the context of self-supervised training. Our approach obtains state-of-the-art results on multiple challenging geometric matching and optical flow datasets. We further validate the usefulness of our probabilistic confidence estimation for the tasks of pose estimation, 3D reconstruction, image-based localization, and image retrieval. Code and models are available at https://github.com/PruneTruong/DenseMatching.

연구 동기 및 목표

• 큰 이동, 가림, 외관 변화 상황에서 신뢰할 수 있는 불확실성 추정이 부족한 밀도 높은 대응 네트워크 문제를 해결하기 위해.
• 밀도 높은 애너테이션을 필요로 하지 않고도 실제 기하학적 매칭 시나리오에 잘 일반화되는 자기지도 학습 프레임워크를 개발하기 위해.
• 기존에 희소 키포인트 매칭에 의존해 온 응용 분야, 예를 들어 자세 추정 및 이미지 기반 정위치 결정과 같은 밀도 높은 대응 방법의 지원을 가능하게 하기 위해.
• 내부 예측과 외부 예측을 명시적으로 확률적 공식을 통해 모델링함으로써 불확실성 예측의 강인성을 향상시키기 위해.
• 자기지도 학습 중 무늬가 없는 영역나 가림 영역에서의 과도한 확신을 방지할 수 있는 아키텍처 및 학습 전략을 설계하기 위해.

제안 방법

• 네트워크는 조건부 흐름 분포를 두 개의 라플라스 성분으로 이루어진 제약 조건이 부여된 혼합 모델로 모델링하며, 첫 번째 성분은 내부 예측을, 두 번째 성분은 외부 예측을 모델링한다.
• 혼합 성분은 분산에 고정된 하한 및 상한(σ²₁ = 1.0, 2.0 ≤ σ²₂ ≤ HW)을 통해 제약되며, 이는 순열의 모호성을 해결하고 불확실성의 분리 성능을 향상시킨다.
• 상호작용이 없는 공간 처리 모듈을 상관성 볼륨 디코더에 도입하여 과도한 외삽을 방지하고, 무늬가 없는 영역에서의 과도한 확신을 감소시킨다.
• 자기지도 학습 중에 사전적 훈련 마스크를 적용하여 진짜 흐름의 단사성(Injectivity)을 강제함으로써, 가림 영역 및 움직이는 물체 영역으로의 일반화 성능을 향상시킨다.
• 다중 객체 훈련 데이터 생성 전략을 사용하여 독립적으로 움직이는 물체를 시뮬레이션함으로써, 복잡한 시나리오의 운동 동적 특성에 대한 강인성을 향상시킨다.
• 흐름 정확도(AEPE, Fl)와 불확실성 캘리브레이션(AUSE)을 동시에 최적화하는 미분 가능한 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련하며, 불확실성은 외부 예측일 확률로 추정된다.

실험 결과

연구 질문

• RQ1 어떤 딥 네트워크가 도전적인 기하학적 매칭 상황에서 밀도 높은 광학 흐름과 신뢰할 수 있는 불확실성 추정치를 동시에 예측할 수 있는가?
• RQ2 큰 이동과 가림 상황에서 내부 예측과 외부 예측을 효과적으로 구분하기 위해 불확실성을 어떻게 모델링할 수 있는가?
• RQ3 자기지도 학습된 밀도 높은 대응 네트워크에서 과도한 확신을 방지하기 위해 필요한 아키텍처 및 학습 수정 사항은 무엇인가?
• RQ4 실제 시나리오의 운동 동적 특성을 반영한 자기지도 학습이 일반화 및 불확실성 캘리브레이션에 얼마나 기여하는가?
• RQ5 밀도 높은 네트워크에서 유도된 확률적 신뢰도 맵이 자세 추정 및 3D 재구성과 같은 후행 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PDC-Net+는 KITTI-2015, MegaDepth, YFCC100M 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, KITTI-2015에서 5.55 AEPE 및 16.75% Fl을 기록하였다.
• KITTI-2015에서 AUSE(불확실성 캘리브레이션 오차)를 0.136으로 감소시키고 YFCC100M에서는 0.238로 유지하여 기존 베이스라인 대비 뛰어난 불확실성 캘리브레이션 성능을 보였다.
• 독립적으로 움직이는 다수의 물체를 포함한 훈련으로 KITTI-2015에서 Fl이 3% 향상되어, 더 복잡한 운동 동적 특성에 대한 강인성이 향상됨을 입증하였다.
• 사전적 훈련 마스크는 KITTI-2015에서 5.55 AEPE를 기록하며, 마스크 없음 및 가림 마스크 전략보다 우수한 성능을 보였으며, 특히 가림 영역에서 두드러진 성능 향상을 보였다.
• YFCC100M에서 PDC-Net+는 이미지 기반 정위치에서 mAP@5° 44.45% 및 mAP@10° 54.70%를 달성하여 실제 응용 분야로의 강력한 전이 성능을 입증하였다.
• 고정된 분산 한계(σ²₁ = 1.0, 2.0 ≤ σ²₂ ≤ HW)를 가진 제약 조건이 부여된 혼합 모델이 가장 안정적인 훈련과 최고의 종합 성능을 보였으며, 제약 없거나 고정 분산 대안보다 뛰어난 성능을 보였다.