[論文レビュー] NeRFocus: Neural Radiance Field for 3D Synthetic Defocus

Yinhuai Wang, Shuzhou Yang+2 more|arXiv (Cornell University)|Mar 10, 2022

Image Processing Techniques and Applications被引用数 6

ひとこと要約

NeRFocusは、逆ビームパストレーシングとフラスムベースボリュームレンダリングを用いて薄レンズ像形成をモデル化することで、3D合成のボケ効果を直接レンダリングするNeRFベースの新規フレームワークを提案する。これは、絞りの大きさ、フォーカス距離、カメラポーズを調整可能な制御可能な被写界深度効果を可能にし、大被写界深度画像においてもNeRFと同等の性能を維持する。

ABSTRACT

Neural radiance fields (NeRF) bring a new wave for 3D interactive experiences. However, as an important part of the immersive experiences, the defocus effects have not been fully explored within NeRF. Some recent NeRF-based methods generate 3D defocus effects in a post-process fashion by utilizing multiplane technology. Still, they are either time-consuming or memory-consuming. This paper proposes a novel thin-lens-imaging-based NeRF framework that can directly render various 3D defocus effects, dubbed NeRFocus. Unlike the pinhole, the thin lens refracts rays of a scene point, so its imaging on the sensor plane is scattered as a circle of confusion (CoC). A direct solution sampling enough rays to approximate this process is computationally expensive. Instead, we propose to inverse the thin lens imaging to explicitly model the beam path for each point on the sensor plane and generalize this paradigm to the beam path of each pixel, then use the frustum-based volume rendering to render each pixel's beam path. We further design an efficient probabilistic training (p-training) strategy to simplify the training process vastly. Extensive experiments demonstrate that our NeRFocus can achieve various 3D defocus effects with adjustable camera pose, focus distance, and aperture size. Existing NeRF can be regarded as our special case by setting aperture size as zero to render large depth-of-field images. Despite such merits, NeRFocus does not sacrifice NeRF's original performance (e.g., training and inference time, parameter consumption, rendering quality), which implies its great potential for broader application and further improvement. Code and video are available at https://github.com/wyhuai/NeRFocus.

研究の動機と目的

• 標準NeRFがピンホールカメラモデルに依存しているため、ネイティブな3Dボケ効果のサポートが欠如しているという問題に対処すること。
• 後処理や追加データセットを用いずに、現実的で直接的な3Dボケ効果のレンダリングを可能にすること。
• 絞りの大きさ、フォーカス距離、カメラポーズの柔軟な制御を維持しながら、NeRFの効率性とレンダリング品質を保つこと。
• 通常の大被写界深度データのみを用いて、多様なボケ効果に一般化する訓練戦略を開発すること。

提案手法

• 各センサープランの点からシーンの点へと逆方向にビームパスをモデル化することで、薄レンズ像形成プロセスを逆転し、ピクセルレベルのビームパスへ一般化する。
• 有限な絞りによるシーン点からの光線の分散を表現するため、コマの混乱（CoC）モデルを用い、各ピクセルごとに合成コーンを形成する。
• 各合成コーンをフラスムに分割し、各フラスム内での放射輝度と密度に3次元ガウス分布を仮定することで、ボリュームレンダリングを可能にする。
• 訓練時に絞りの大きさを0に設定し、真値画像にさまざまなスケールのガウスノイズカーネルを適用することで、MLPを確率的訓練（p-training）戦略で監視する。
• レンダリングされた色（合成コーンからのもの）とぼかし真値画像との間の損失を用いてMLPを訓練し、テスト時に非ゼロの絞り設定に対しても一般化を可能にする。
• 位置符号化とマルチレイヤーパーセプトロン（MLP）を用い、期待値位置符号化を入力として、各フラスムごとの期待放射輝度と密度を予測する。

実験結果

リサーチクエスチョン

• RQ1 NeRFは、絞りの大きさやフォーカス距離といった制御可能なパrameterを用いて、ネイティブに3Dボケ効果をレンダリングできるか？
• RQ2 ボケ効果のアノテーションが付加された追加データセットや後処理を用いずに、現実的でリアルなボケ効果を実現できるか？
• RQ3 ぼかし真値画像に基づく訓練戦略は、NeRFの効率性とレンダリング品質を保ちながら、多様なボケ設定に一般化できるか？
• RQ4 p-training戦略は、標準的なNeRF訓練と比較して、計算コストとモデル性能の面でどのように異なるか？

主な発見

• NeRFocusは、大被写界深度設定（絞りの大きさ = 0）でPSNR 28.26を達成し、NeRF（29.00）やmip-NeRF（28.83）と同等の性能を示しており、性能の低下がないことが確認された。
• 訓練時間（55.6時間）とパラメータ数（613k）はmip-NeRFと同一であり、追加の計算コストがないことが示された。
• 定性的な結果から、絞りの大きさを増やすことでぼやけが強まり（浅い被写界深度）、フォーカス距離を長くすると被写界深度が前方にシフトすることが確認され、光学的原理と一致した。
• p-trainingでは5種類のぼかしカーネルスケールのみを用いたが、未観測のボケ設定に対しても良好に一般化しており、確率的訓練戦略の強靭性が裏付けられた。
• NeRFocusは、カメラポーズ、フォーカス距離、絞りの大きさを分離して制御可能な高品質な3Dボケ効果をレンダリングでき、動的で現実的な被写界深度効果を実現した。