[논문 리뷰] Monocular Dynamic View Synthesis: A Reality Check

Hang Gao, Ruilong Li외 3명|arXiv (Cornell University)|2022. 10. 24.

Advanced Vision and Imaging인용 수 28

한 줄 요약

이 논문은 대중적인 단안 동적 뷰 합성 벤치마크가 카메라 점프나 느린 장면 움직임으로 인해 사실상 다중 뷰 데이터에 의존한다는 것을 밝히고, EMF와 새로운 평가 지표를 제안하며, 실제 단안 DVS 성능을 더 잘 평가하기 위한 아이폰 데이터셋을 공개한다.

ABSTRACT

We study the recent progress on dynamic view synthesis (DVS) from monocular video. Though existing approaches have demonstrated impressive results, we show a discrepancy between the practical capture process and the existing experimental protocols, which effectively leaks in multi-view signals during training. We define effective multi-view factors (EMFs) to quantify the amount of multi-view signal present in the input capture sequence based on the relative camera-scene motion. We introduce two new metrics: co-visibility masked image metrics and correspondence accuracy, which overcome the issue in existing protocols. We also propose a new iPhone dataset that includes more diverse real-life deformation sequences. Using our proposed experimental protocol, we show that the state-of-the-art approaches observe a 1-2 dB drop in masked PSNR in the absence of multi-view cues and 4-5 dB drop when modeling complex motion. Code and data can be found at https://hangg7.com/dycheck.

연구 동기 및 목표

• 기존 프로토콜에서 다중 뷰 신호 누출을 식별하여 단안 동적 뷰 합성(DVS)의 공정한 평가를 유도한다.
• 단안 캡처에서 다중 뷰 신호를 정량화하기 위한 유효 다중 뷰 요인(EMF)을 정의한다.
• 카메라 텔레포테이션에 의존하지 않는 평가 지표를 제안한다(공시 마스킹 지표 및 PCK-T).
• 현재 DVS 방법에 도전하기 위한 다양한 실제 모션을 가진 새로운 iPhone 기반 데이터셋을 제공한다.
• 단일 눈 프로토콜과 복잡한 모션으로 평가했을 때 최첨단 방법 간의 격차를 정량화한다.

제안 방법

• 유효 다중 뷰 요인(EMF) 도입: 카메라 모션으로부터 다중 뷰 신호를 정량화하기 위한 전체 EMF Omega와 각도 EMF omega.
• 실용적 EMF 계산 제안: 시선 포인트를 중심으로 한 카메라 각속도에 의한 omega와 카메라-장면 모션 비율에 의한 Omega.
• 광유동 기반 대응으로 결정된 테스트 보이는 픽셀을 사용한 공시 마스킹 이미지 지표(mPSNR, mSSIM, mLPIPS) 정의.
• 프레임 간 변형 대응을 평가하기 위한 PCK-T(정확하게 전달된 특징점의 비율) 정의.
• 단일 이동 학습 카메라와 두 개의 정적 평가자, 깊이 감독 및 다양한 복잡 모션을 갖춘 새로운 iPhone 데이터셋.

실험 결과

연구 질문

• RQ1 일반적인 촬영 및 평가 프로토콜 하에서 단안 DVS 입력에 얼마나 많은 다중 뷰 신호가 존재하는가?
• RQ2 카메라 텔레포테이션 없이 평가될 때 기존 DVS 방법이 실제로 단안 단서에 의존하는가?
• RQ3 새로운 평가 지표(공시 마스킹 지표 및 PCK-T)가 동적 변형 모델링의 실제 품질을 어떻게 반영하는가?
• RQ4 깊이 감독 및 추가 정규화가 도전적인 단안 시퀀스에서의 성능에 어떤 영향을 미치는가?
• RQ5 현실적인 단일 카메라 단안 데이터셋이 실용 모션 하에서 현재 DVS 방법의 격차를 드러낼 수 있는가?

주요 결과

데이터셋	모델	mPSNR	mSSIM	mLPIPS	PCK-T
Nerfies-HyperNeRF dataset (non-teleporting)	T-NeRF	21.55	0.595	-	-
Nerfies-HyperNeRF dataset (non-teleporting)	NSFF	19.53	0.521	0.471	0.422
Nerfies-HyperNeRF dataset (non-teleporting)	Nerfies	20.85	0.562	0.200	0.756
Nerfies-HyperNeRF dataset (non-teleporting)	HyperNeRF	21.16	0.565	0.192	0.764
iPhone dataset	T-NeRF	16.96	0.577	0.379	-
iPhone dataset	NSFF	15.46	0.551	0.396	0.256
iPhone dataset	Nerfies	16.45	0.570	0.339	0.453
iPhone dataset	HyperNeRF	16.81	0.569	0.332	0.400

• 현존하는 최첨단 방법은 비 텔레포팅/Nerfies-HyperNeRF 유사 데이터에서 마스크된 PSNR이 1-2 dB 감소하고 PCK-T가 약 5% 감소하는 것을 보여주며, 다중 뷰 신호 없이 성능이 저하됨을 나타낸다.
• 제안된 iPhone 데이터셋으로 복잡한 모션에서 방법은 마스크된 PSNR에서 4-5 dB 감소, PCK-T에서 약 30% 감소하여 개선 여지가 크다는 것을 보여준다.
• 대부분의 방법은 단안 전용 프로토콜 하에서 정확한 동적 변형을 모델링하는 데 어려움을 겪으며, EMF 보고 및 단안 중심 벤치마크의 필요성을 강조한다.
• 비 텔레포팅 학습은 종종 더 낮은 렌더링 품질과 더 나쁜 대응관계를 초래하며, 이전 이득이 사실상 다중 뷰 학습 데이터에 의해 과대평가되었음을 시사한다.
• 아블레이션 연구는 배경 합성, 깊이 감독, 표면 희소성 정규화의 추가가 복잡한 모션에서 결과를 향상시킨다는 것을 보여준다.