[論文レビュー] Neural Étendue Expander for Ultra-Wide-Angle High-Fidelity Holographic Display

Ethan Tseng, Grace Kuo+9 more|arXiv (Cornell University)|Sep 16, 2021

Advanced Optical Imaging Technologies参考文献 39被引用数 6

ひとこと要約

この論文は、空間光変調器（SLM）のエテンジュを劣化させることなく拡張することで、超高広角で高精細なホログラフィックディスプレイを実現する学習型回折光学素子「ニューラルエテンジュエクスパンダー」を紹介する。微分可能ホログラフィック形成モデルを用いてSLMの波面とエクスパンダーの位相プロファイルを同時に最適化することで、64倍のエテンジュ拡張と29 dBを超えるPSNRを達成し、8K SLMを用いて126°の視野角と18.5 mmのアイボックスサイズを実現した。

ABSTRACT

Holographic displays can generate light fields by dynamically modulating the wavefront of a coherent beam of light using a spatial light modulator, promising rich virtual and augmented reality applications. However, the limited spatial resolution of existing dynamic spatial light modulators imposes a tight bound on the diffraction angle. As a result, modern holographic displays possess low étendue, which is the product of the display area and the maximum solid angle of diffracted light. The low étendue forces a sacrifice of either the field-of-view (FOV) or the display size. In this work, we lift this limitation by presenting neural étendue expanders. This new breed of optical elements, which is learned from a natural image dataset, enables higher diffraction angles for ultra-wide FOV while maintaining both a compact form factor and the fidelity of displayed contents to human viewers. With neural étendue expanders, we experimentally achieve 64$ imes$ étendue expansion of natural images in full color, expanding the FOV by an order of magnitude horizontally and vertically, with high-fidelity reconstruction quality (measured in PSNR) over 29 dB on retinal-resolution images.

研究の動機と目的

• 動的SLMの空間分解能の低さと小さな回折角が原因で生じるホログラフィックディスプレイにおける根本的なエテンジュ制限を克服すること。
• 自然画像の再構成精度を保ちながら、ホログラフィックディスプレイにおける超広視野角（FOV）と大きなアイボックスサイズを実現すること。
• SLMの波面と連携して最適化可能な学習可能な光学素子「ニューラルエテンジュエクスパンダー」を考案し、知覚的画像品質を最大化すること。
• アイトラッカー や複数のSLMといった複雑な動的部品を不要とせずに、静的で最適化された光学素子を用いること。
• 高精細で広範な視聴者対応性を備えたフルカラー、3次元、瞳孔に依存しないホログラフィックディスプレイを実現すること。

提案手法

• SLMの波面とニューラルエテンジュエクスパンダーの位相プロファイルを同時に最適化可能な、微分可能なホログラフィック画像形成モデルを開発した。
• 自然画像データセットを用いて1次確率的最適化によりエクスパンダーを学習し、再構成ノイズを人間視覚系が認識できない周波数帯域に押しやった。
• レーザービームリソグラフィーとレジン成形を用いて、屈折率の波長依存性を設計に組み込んだ回折光学素子（DOE）としてエクスパンダーをプロトタイピングした。
• 4Fリレーセットアップを用い、HOLOEYE-PLUTO SLM、DCブロック、およびカメラを組み合わせて、実験的にエテンジュ拡張ホログラムを撮影・検証した。
• アイボックス内での瞳孔位置の違いに対しても一貫した画像品質を確保するため、瞳孔に依存する最適化を適用した。
• フルカラーホログラフィーを可能とする多波長照明をサポートし、3次元カラー再構成へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 学習型光学素子は、自然シーンの高精細再構成を維持しながら、ホログラフィックディスプレイのエテンジュを顕著に拡張できるか？
• RQ2 SLMとニューラルエテンジュエクスパンダーを共同最適化することで、ランダムまたは固定位相の散乱体と比較して再構成品質がどのように向上するか？
• RQ3 ニューラルエテンジュエクスパンダーは、動的部品を一切使用せずに、超広視野角（例：120°以上）および大きなアイボックスサイズ（例：10×10 mm²以上）を実現できるか？
• RQ4 本手法は、視聴者の瞳孔に依存しない高精細なフルカラーおよび3次元ホログラフィックディスプレイをサポートできるか？
• RQ5 PSNRで測定した場合、エテンジュ拡張率と再構成品質の間で達成可能なトレードオフの限界はどの程度か？

主な発見

• ニューラルエテンジュエクスパンダーは、フルカラーホログラムにおいて64倍のエテンジュ拡張を達成し、ピーク信号対ノイズ比（PSNR）が29 dBを超える。これは、従来手法と比較して1桁の改善を示している。
• 単色ホログラムでは、他のエクスパンダーと比較して10 dB以上のPSNR向上を達成し、優れた再構成精度を示している。
• 本システムは126°の視野角と18.5 mmのアイボックスサイズを実現し、人間の視野の85％以上をカバーしている。これは8KピクセルのSLMを用いて達成された。
• 最適化されたニューラルエクスパンダーは、アイボックス全体にわたって光エネルギーを均等に分配し、視聴者の瞳孔位置に依存しない画像品質を実現した。これにより、正確なアイトラッキングの必要性が排除された。
• 本手法は、従来の単色または希釈点ベースの3次元ホログラフィーにとどまらず、高精細な3次元カラー再構成を可能とする。
• 実験的検証により、学習された波面変調が再構成ノイズを人間の知覚周波数帯域から効果的にシフトさせ、知覚的画像品質の向上を実現していることが確認された。