[論文レビュー] Interactive Light Field Tilt-Shift Refocus with Generalized Shift-and-Sum

Martin Alain, Weston Aenchbacher+1 more|arXiv (Cornell University)|Oct 10, 2019

Advanced Vision and Imaging被引用数 8

ひとこと要約

本稿では、深度情報に基づく点群可視化を用いて、非フロントパラレルな焦点合わせ平面に対する直感的なユーザー操作を可能にする、インタラクティブなライトフィールドチルト・シフトフォーカスのための一般化されたシフトアンドサムフレームワークを提案する。3つの入力方法—ワンクリック、3クリック、キーボード入力—をサポートし、従来のチルト・シフト写真のシミュレーションにおいて、ユーザーのガイドランスと幾何的正確性を向上させた、堅牢でインタラクティブな性能を示している。

ABSTRACT

Since their introduction more than two decades ago, light fields have gained considerable interest in graphics and vision communities due to their ability to provide the user with interactive visual content. One of the earliest and most common light field operations is digital refocus, enabling the user to choose the focus and depth-of-field for the image after capture. A common interactive method for such an operation utilizes disparity estimations, readily available from the light field, to allow the user to point-and-click on the image to chose the location of the refocus plane. In this paper, we address the interactivity of a lesser-known light field operation: refocus to a non-frontoparallel plane, simulating the result of traditional tilt-shift photography. For this purpose we introduce a generalized shift-and-sum framework. Further, we show that the inclusion of depth information allows for intuitive interactive methods for placement of the refocus plane. In addition to refocusing, light fields also enable the user to interact with the viewpoint, which can be easily included in the proposed generalized shift-and-sum framework.

研究の動機と目的

• ライトフィールドにおける非フロントパラレル（チルト・シフト）フォーカスのための直感的なユーザーインターフェースの欠如に対処する。
• 深度情報とカメラキャリブレーションを用いて、シーンの幾何構造に対してフォーカス平面をインタラクティブに配置可能にする。
• 古典的なシフトアンドサム法を、フロントパラレルに限らない任意の平面的フォーカス面へと拡張する。
• クリックベースとキーボード駆動の複数のユーザー入力モードを提供し、柔軟で高精度な平面指定を可能にする。
• 同一の一般化されたフレームワーク内で、ビューポointのインタラクション（視点シフト）を統合し、完全なライトフィールドインタラクティビティを実現する。

提案手法

• 非フロントパラレルな平面へのフォーカスをモデル化するための一般化されたシフトアンドサム定式化を提案し、古典的なシフトアンドサムを非フロントパラレルな平面へと拡張する。
• 深度マップとカメラキャリブレーションを用いてシーンの3次元点群を再構築し、フォーカス平面とシーン幾何構造の相対的位置関係を視覚フィードバック可能にする。
• ワンクリック手法を実装し、ユーザーが画像上の点を選択すると、推定された表面法線を用いてフォーカス平面の法線を計算する。
• 3点選択による手法を導入し、深度マップのノイズに対してより高いロバスト性を実現するとともに、複数の表面をカバーする平面の定義を高精度で行えるようにする。
• 距離と方向パラメータを用いたキーボードベースの平面指定をサポートし、初期のクリックベース推定値の微調整を可能にする。
• 中間視点へのインタラクティブレンダリングを統合し、同じ一般化されたシフトアンドサムフレームワークを用いて視点シフトを実現する。

実験結果

リサーチクエスチョン

• RQ1 ライトフィールド画像処理において、非フロントパラレル（チルト・シフト）フォーカスをどのようにしてインタラクティブで直感的なものにできるか？
• RQ2 深度情報と3次元シーン幾何構造を活用することで、ユーザーがフォーカス平面を正確に配置できるように支援できるか？
• RQ3 クリックベースとキーボード入力の両方のユーザー入力方法の相対的な長所と短所は何か？（傾きのあるフォーカス平面の指定において）
• RQ4 一般化されたシフトアンドサムフレームワークは、チルト・シフトフォーカスとインタラクティブなビューポイントレンダリングの両方を統一された定式化でサポートできるか？
• RQ5 幾何的可視化の導入により、ユーザーがフォーカス平面の配置における幾何的関係をどのようにして理解・制御できるようになるか？

主な発見

• クリアな深度マップと法線マップが得られる平面領域では、ワンクリック手法が迅速かつ直感的なフォーカス平面の配置を可能にするが、複雑なシーンではノイズに敏感である。
• 3クリック手法は深度マップのノイズに対してよりロバストであり、複数の表面をカバーする平面の定義をより正確に行える。
• キーボードベースの指定は最高の精度を実現し、深度推定の誤差の影響を最も受けにくく、微調整に最も信頼性がある。
• 3次元点群と透過性のあるフォーカス平面を用いた視覚フィードバックにより、フォーカス平面とシーンとの幾何的関係に対するユーザーの理解が著しく向上する。
• 一般化されたシフトアンドサムフレームワークは、チルト・シフトフォーカスとインタラクティブな視点シフトの両方を成功裏にサポートし、標準的なフロントパラレルフォーカスを超えた拡張性を示した。
• 実際のライトフィールドデータ（例：HCIおよびTechnicolorデータセット）からの結果は、本手法が一貫した被写界深度制御のもとで視覚的に妥当なチルト・シフト効果を生成できることを示している。