[論文レビュー] Learned holographic light transport

Koray Kavaklı, Hakan Ürey+1 more|arXiv (Cornell University)|Aug 1, 2021

Advanced Optical Imaging Technologies参考文献 21被引用数 4

ひとこと要約

本論文は、実世界のカメラによるホログラム再構成のキャプチャから学習することで、1つの複素数値畳み込みカーネルを学習する、学習可能なホログラフィック光輸送モデルを提案する。理想的なシミュレーションで最適化された位相のみのホログラムを用いて訓練することで、複雑なアーキテクチャや広範なキャリブレーションを必要とせず、シミュレーションの精度と画像の質が著しく向上し、従来の理想モデルを上回る。

ABSTRACT

Computer-Generated Holography (CGH) algorithms often fall short in matching simulations with results from a physical holographic display. Our work addresses this mismatch by learning the holographic light transport in holographic displays. Using a camera and a holographic display, we capture the image reconstructions of optimized holograms that rely on ideal simulations to generate a dataset. Inspired by the ideal simulations, we learn a complex-valued convolution kernel that can propagate given holograms to captured photographs in our dataset. Our method can dramatically improve simulation accuracy and image quality in holographic displays while paving the way for physically informed learning approaches.

研究の動機と目的

• シミュレーションと物理的ホログラムディスプレイ性能の間の継続的なギャップを解消すること。
• ホログラムディスプレイモデリングに複雑なディープラーニングモデルや広範な実験的キャリブレーションに依存することを減らすこと。
• 物理的ホログラムディスプレイの真の光輸送を学習するシンプルで微分可能な手法を開発すること。
• 位相のみのホログラムの実世界の画像品質を反映する、より正確なシミュレーションを可能にすること。
• 最小限のパラメータオーバーヘッドで物理的に情報を持つ学習の基盤を提供すること。

提案手法

• プロトタイプの位相のみホログラムディスプレイからカメラを用いて実際の画像再構成をキャプチャする。
• 理想で完全に微分可能なホログラフィック光輸送モデル（レイリー＝ゾンマーフェルト回折）を用いて入力ホログラムを最適化する。
• 理想的なホログラムを実際の物理的再構成にマップする1つの複素数値畳み込みカーネルを学習する。
• 学習したカーネルを介したシミュレート再構成と実際のカメラ画像を比較する微分可能な損失関数を用いる。
• 物理的ディスプレイの集積的光学障害や不具合をモデル化するポイントスプレッド関数を学習する。
• 学習したカーネルをシミュレーションに適用し、よりリアルな再現性を持つようにホログラムを像面に伝搬させる。

実験結果

リサーチクエスチョン

• RQ1 1つの学習済み複素数値畳み込みカーネルは、実際のホログラムディスプレイの非理想な光輸送を効果的にモデル化できるか？
• RQ2 この学習済みカーネルは、理想化されたホログラムモデルと比較して、どの程度シミュレーションの正確性を向上させられるか？
• RQ3 この手法は、複雑なディープラーニングアーキテクチャや広範なキャリブレーション手順の必要性を減らすか？
• RQ4 最先端のニューラルネットワークベースのアプローチと比較して、この手法の性能とパラメータ効率はどの程度か？
• RQ5 学習済みカーネルは、ダイナミックレンジや明るさといった重要な画像品質指標を捉え、保持できるか？

主な発見

• 学習済みホログラフィック光輸送手法は、シミュレーションの正確性を著しく向上させ、実世界の物理的再構成と密接に一致する画像品質を達成した。
• 図4の可視的比較により、理想シミュレーションモデルよりも動的レンジと明るさレベルをよりよく保持していることが示された。
• 深層ニューラルネットワークを用いた最先端手法と比較して、調整可能なパrameter数を400万（振幅と位相の両方で2×1080×1920）にまで半減させた。
• 学習済みカーネルは、ディスプレイの集積的光学的不具合を捉えるポイントスプレッド関数として機能し、よりリアルなシミュレーションを可能にした。
• 入力画像と同一サイズのカーネルサイズを用いることで、局所性の問題を回避し、伝搬における完全な空間的文脈を保証した。
• 最小限の実験的およびアルゴリズム的オーバーヘッドで、物理的に情報を持つ学習を可能にし、GAN や多層モデルに代わるシンプルで効果的な代替手段を提供した。