[論文レビュー] Varifocal Multiview Images: Capturing and Visual Tasks

Kejun Wu, Qiong Liu+3 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Vision and Imaging参考文献 28被引用数 4

ひとこと要約

本稿では、複数の視点を異なる焦点面に合わせて捉えることで、同時に柔軟な視野（FoV）と柔軟な焦点深度（DoF）を実現する、新しい画像モデルである可変焦点マルチビュー（VFMV）画像を提案する。各視点を異なる深度面に合わせることで、VFMV画像はより豊かな焦点の手がかりを提供し、3次元シーンの表現を向上させる。実験の結果、VFMV画像は1,218個のマルチビュー画像と比較して2,737個のライトフィールド特徴を検出でき、より高品質な3次元再構築を可能にし、視覚的タスクにおいて優れた性能を示した。

ABSTRACT

Multiview images have flexible field of view (FoV) but inflexible depth of field (DoF). To overcome the limitation of multiview images on visual tasks, in this paper, we present varifocal multiview (VFMV) images with flexible DoF. VFMV images are captured by focusing a scene on distinct depths by varying focal planes, and each view only focused on one single plane.Therefore, VFMV images contain more information in focal dimension than multiview images, and can provide a rich representation for 3D scene by considering both FoV and DoF. The characteristics of VFMV images are useful for visual tasks to achieve high quality scene representation. Two experiments are conducted to validate the advantages of VFMV images in 4D light field feature detection and 3D reconstruction. Experiment results show that VFMV images can detect more light field features and achieve higher reconstruction quality due to informative focus cues. This work demonstrates that VFMV images have definite advantages over multiview images in visual tasks.

研究の動機と目的

• マルチビュー画像が柔軟なFoVを備えつつも、不変なDoFを有するという限界を解消するため、マルチビューとフォーカルスタックの利点を統合した新しい画像モデルを導入すること。
• 複数の視点にわたり焦点深度（DoF）情報を統合することで、可変焦点面を用いた高品質な3次元シーン表現を実現すること。
• 異なる焦点設定から得られる豊富な焦点の手がかりを活用することで、3次元再構築や特徴検出などの視覚的タスクの性能を向上させること。
• 従来の撮影システムにおける信号対雑音比（SNR）とDoFのトレードオフを克服し、各視点で狭いDoFを実現しつつ、全体として広いFoVを確保すること。

提案手法

• VFMV画像は、各視点が異なる焦点面に合わせられたマルチカメラアレイを用いて撮影され、狭いDoFにより各視点で高品質な画像が得られる。
• システムは9×9の視点アレイを取得し、各視点が特定の深度面に最適化されており、シーン全体にわたり柔軟なDoFを実現する。
• ライトフィールド特徴検出には、VFMVおよびマルチビュー画像の両方に対してLiFFアルゴリズムを適用し、ピーク閾値0.0015、エッジでない閾値10、-1から開始する4オクターブ、1オクターブあたり3レベルのパラメータを設定した。
• 3次元再構築は、2つの視点ごとのデータセットを用いて構造から姿勢を推定（SfM）する手法で実施し、SIFT特徴量をマッチングさせてカメラの姿勢を推定し、3次元点群を再構築した。
• VFMVの取得プロセスでは、各視点の焦点面を動的に調整可能であり、後処理での再焦点調整や、より優れた深度表現が可能である。
• 本手法はマルチビューとフォーカルスタックの原則を統合し、広いFoVと広いDoFを両立できるハイブリッドデータモデルを構築した。

実験結果

リサーチクエスチョン

• RQ1 各視点に異なる焦点面を設定したVFMV画像は、従来のマルチビュー画像と比較して、4次元ライトフィールド特徴検出の豊かさが向上するか？
• RQ2 複数の焦点面にわたる焦点の手がかりの統合は、視覚的タスクにおける3次元再構築品質を向上させるか？
• RQ3 VFMV画像の柔軟なDoFは、単一焦点マルチビュー画像と比較して、再構築アーチファクトを低減し、再構築の完全性を向上させる程度はどの程度か？
• RQ4 VFMV画像は、各視点ごとに深度に応じた焦点を提供できるため、VR/ARにおける調節・両眼視軸の不一致問題を効果的に解消できるか？

主な発見

• VFMV画像は1,218個の特徴を検出する従来のマルチビュー画像と比較して2,737個のライトフィールド特徴を検出でき、情報量の豊かさが顕著に向上した。
• VFMV画像における特徴の分布は、視点間で明確な焦点の手がかりがあるため、より広範かつ空間的に正確に分布している。
• VFMV画像からの3次元再構築では、完全で整合性のある3次元メッシュが得られ、全体の構造が明確である一方、マルチビュー再構築は限られたDoFのため不完全な結果となった。
• VFMV画像からの再構築シーンはわずかな欠損が見られるものの、全体として高い品質を示しており、焦点の手がかりが幾何学的整合性と特徴マッチングの質を向上させることの有効性が裏付けられた。
• 各視点に異なる焦点面を設定することで、複雑な深度変化を示すシーンにおいても、特徴検出と再構築のロバスト性が向上した。
• 結果から、VFMV画像は高精度な3次元表現を要する視覚的タスクにおいて、標準的なマルチビュー画像を上回ることが確認された。