[論文レビュー] Monocular Dynamic View Synthesis: A Reality Check

Hang Gao, Ruilong Li+3 more|arXiv (Cornell University)|Oct 24, 2022

Advanced Vision and Imaging被引用数 28

ひとこと要約

本論文は、人気の単眼動的ビュー合成ベンチマークが、カメラのテレポートやシーンの遅い動きによって実質的にマルチビューのデータに依存していることを明らかにし、EMFと新しい評価指標を提案し、真の単眼DVS性能をより正しく評価するためのiPhoneデータセットを公開する。

ABSTRACT

We study the recent progress on dynamic view synthesis (DVS) from monocular video. Though existing approaches have demonstrated impressive results, we show a discrepancy between the practical capture process and the existing experimental protocols, which effectively leaks in multi-view signals during training. We define effective multi-view factors (EMFs) to quantify the amount of multi-view signal present in the input capture sequence based on the relative camera-scene motion. We introduce two new metrics: co-visibility masked image metrics and correspondence accuracy, which overcome the issue in existing protocols. We also propose a new iPhone dataset that includes more diverse real-life deformation sequences. Using our proposed experimental protocol, we show that the state-of-the-art approaches observe a 1-2 dB drop in masked PSNR in the absence of multi-view cues and 4-5 dB drop when modeling complex motion. Code and data can be found at https://hangg7.com/dycheck.

研究の動機と目的

• 既存のプロトコルにおけるマルチビューの手掛かりの漏洩を特定することで、単眼DVSの公正な評価を動機づける。
• 単眼キャプチャにおけるマルチビュー信号を定量化する有効なマルチビュー要因（EMF）を定義する。
• カメラのテレポートに依存しない評価指標を提案する（共視マスク付き指標とPCK-T）。
• 現在のDVS手法に挑戦する多様な実モーションを含む新しいiPhoneベースのデータセットを提供する。
• 単眼のみプロトコルと複雑な運動で評価したときの最先端手法のギャップを定量化する。

提案手法

• 有効なマルチビュー要因（EMFs）を導入する：カメラの動きからのマルチビュー手掛かりを定量化する完全EMF Omegaと角度EMF omega。
• 実用的なEMF計算を提案する：カメラ-シーン運動比率によるOmegaと、Look-at点を中心とするカメラ角速度によるomega。
• 光学フローに基づく対応から決定されるテスト可視ピクセルを用いた共視マスク付き画像指標（mPSNR、mSSIM、mLPIPS）を定義する。
• フレーム間の変形対応を評価するためのPCK-T（転送される正確なキーポイントの割合）を定義する。
• 単一の動く学習カメラと静止二評価者、深度監視、そして多様で複雑な運動を備えた新しいiPhoneデータセット。

実験結果

リサーチクエスチョン

• RQ1 一般的なキャプチャおよび評価プロトコルの下で、単眼DVS入力にどれくらいのマルチビュー信号が存在するか？
• RQ2 カメラのテレポートなしで評価した場合、既存のDVS手法は本当に単眼の手掛かりに依存しているのか？
• RQ3 新しい評価指標（共視マスク付き指標とPCK-T）は、動的変形モデリングの真の品質をどのように反映するか？
• RQ4 深度監視と追加の正則化項が、難易度の高い単眼シーケンスの性能にどのような影響を与えるか？
• RQ5 実用的な運動下で、現行のDVS手法のギャップを明らかにする、現実的な単一カメラのデータセットは作り得るか？

主な発見

データセット	モデル	mPSNR	mSSIM	mLPIPS	PCK-T
Nerfies-HyperNeRF dataset (non-teleporting)	T-NeRF	21.55	0.595	-	-
Nerfies-HyperNeRF dataset (non-teleporting)	NSFF	19.53	0.521	0.471	0.422
Nerfies-HyperNeRF dataset (non-teleporting)	Nerfies	20.85	0.562	0.200	0.756
Nerfies-HyperNeRF dataset (non-teleporting)	HyperNeRF	21.16	0.565	0.192	0.764
iPhone dataset	T-NeRF	16.96	0.577	0.379	-
iPhone dataset	NSFF	15.46	0.551	0.396	0.256
iPhone dataset	Nerfies	16.45	0.570	0.339	0.453
iPhone dataset	HyperNeRF	16.81	0.569	0.332	0.400

• 従来の最先端手法は、非テレポートの Nerfies-HyperNeRF 系のデータで、マスク付きPSNRが1-2 dB低下、PCK-Tが約5%低下を示し、マルチビュー手掛かりがない場合の性能低下を示唆している。
• 提案されたiPhoneデータセットによる複雑な運動では、マスク付きPSNRが4-5 dB低下し、PCK-Tが約30%低下し、改善の余地が大きいことを示している。
• ほとんどの手法は、単眼のみのプロトコルで評価すると正確な動的変形のモデル化に苦戦しており、EMF報告と単眼に焦点を当てたベンチマークの必要性を浮き彫りにしている。
• テレポートしない学習はレンダリング品質と対応の不良が多く、以前の向上は実質的にマルチビュー学習データによって誇張されていたことを示唆している。
• アブレーション研究は、背景合成、深度監視、表面のスパース正則化を追加すると、複雑な運動で結果が改善されることを示している。