[論文レビュー] Hybrid Diffractive Optics Design via Hardware-in-the-Loop Methodology for Achromatic Extended-Depth-of-Field Imaging

Samuel Pinilla, Seyyed Reza Miri Rostami+3 more|arXiv (Cornell University)|Mar 30, 2022

Advanced optical system design参考文献 51被引用数 37

ひとこと要約

本論文は、空間光変調器（SLM）をプログラマブルな位相のみの回折型光学素子（DOE）として用い、色収差のない拡張焦点深度（EDoF）像を実現する、ハードウェアインザループ（HIL）最適化フレームワークを提案する。微分可能でエンドツーエンドのパイプラインを用いてSLMの位相パターンと画像再構築アルゴリズムを同時に最適化し、定量的および定性的な損失関数を組み合わせることで、0.4–1.9 mの焦点深度範囲で高品質な全焦点画像を実現した。この手法は、単焦点レンズ系やソニーA7 III、iPhone Xs Maxといった商用カメラよりも、シャープネスと色再現性において優れた性能を発揮した。

ABSTRACT

End-to-end optimization of diffractive optical elements (DOEs) profile through a digital differentiable model combined with computational imaging have gained an increasing attention in emerging applications due to the compactness of resultant physical setups. Despite recent works have shown the potential of this methodology to design optics, its performance in physical setups is still limited and affected by manufacturing artifacts of DOE, mismatch between simulated and resultant experimental point spread functions, and calibration errors. Additionally, the computational burden of the digital differentiable model to effectively design the DOE is increasing, thus limiting the size of the DOE that can be designed. To overcome the above mentioned limitations, the broadband imaging system with phase-only spatial light modulator (SLM) as an encoded DOE is proposed and developed in this paper. A co-design of the SLM phase pattern and image reconstruction algorithm is produced following the end-to-end strategy, using for optimization a convolutional neural network equipped with quantitative and qualitative loss functions. The optics of the imaging system is hybrid consisting of SLM as DOE and refractive lens. SLM phase-pattern is optimized by applying the Hardware-in-the-loop technique, which helps to eliminate the mismatch between numerical modeling and physical reality of image formation as light propagation is not numerically modeled but is physically done. In our experiments, the hybrid optics is implemented by the optical projection of the SLM phase-pattern on a lens plane for a depth range 0.4-1.9m. Comparison with compound multi-lens optics such as Sony A7 III and iPhone Xs Max cameras show that the proposed system is advanced in all-in-focus sharp imaging.

研究の動機と目的

• 製造上のアーティファクト、PSFの不一致、キャリブレーション誤差による理論的DOE設計と物理的実装との間の性能ギャップを是正すること。
• 大規模なDOE設計に対して、完全にデジタルな微分可能モデリングの計算コストの高さとスケーラビリティの限界を克服すること。
• シミュレーションと現実世界の光学的性能の間を橋渡しする、実用的でエンドツーエンドの共設計フレームワークを構築すること。
• 屈折レンズとSLMベースのDOEを組み合わせたコンactなハイブリッドシステムを用いて、高品質で色収差のない拡張焦点深度像を得ること。

提案手法

• 最適化ループ内で数値シミュレーションの代わりに物理的光伝搬を用いるハードウェアインザループ（HIL）設定を採用し、モデルと実験の不一致を解消する。
• 空間光変調器（SLM）をピクセル単位でプログラマブルな位相のみのDOEとして用い、リアルタイムで再設定可能な波面変調を実現する。
• 微分可能な畳み込みニューラルネットワーク（CNN）を用いて、SLMの位相パターンと画像再構築アルゴリズムを同時に最適化し、定量的（例：PSNR）および定性的（例：知覚的）損失関数を統合する。
• SLMの位相パターンをレンズ面に投影することでハイブリッド光学系を実装し、コンactな屈折型-DOEシステムを形成する。
• 物理的実験を2通りの設定で実施：1つは複数の物体を異なる焦点深度に配置した（設定1）、もう1つは1つの3次元シーンを用いた（設定2）ことで、EDoF性能を検証する。
• シミュレートされたPSFではなく、物理的イメージングからの実際の光学データを用いてエンドツーエンドシステムをトレーニングおよび検証し、現実世界の歪みに対して高いロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアインザループ最適化は、DOE設計におけるシミュレーションと物理的性能のギャップを効果的に是正できるか？
• RQ2 SLMの位相パターンと画像再構築アルゴリズムを同時に最適化することで、単独のレンズ系や固定位相DOE系と比較して、色収差のないEDoF像の品質がどの程度向上するか？
• RQ3 提案されたHIL手法は、ソニーA7 IIIやiPhone Xs Maxといった商用複合レンズカメラと比較して、広い焦点深度範囲で全焦点シャープな像を再構築する性能でどの程度優れているか？
• RQ4 移動する物体のような動的焦点変化の条件下でも、システムは高品質な画像と色再現性を維持できるか？
• RQ5 混合損失関数を用いた微分可能なCNNを用いることで、最適化されたDOEのロバスト性と一般化性能にどのような影響があるか？

主な発見

• HIL最適化されたハイブリッドシステムは、全RGBチャネルおよび全焦点深度（0.4–1.9 m）で約25 dBのPSNRを達成し、安定した色収差のない性能を確認した。
• 焦点距離が1.8 mの状態で、ハイブリッドシステムは単焦点レンズ系よりもPSNRを約2 dB向上させ、画像品質の顕著な向上を示した。
• 視覚的比較では、極端な焦点深度においても、設計されたハイブリッドシステムが単焦点レンズ系や立方体位相SLM系を上回り、シャープネスと色再現性に優れた性能を発揮した。
• 動的焦点変化の条件下でも、システムは高品質な画像を維持した。特に、0.3 mから1.9 mに移動するヒマワリの動画では、一貫してシャープで色あざやかな再構築像が得られた。
• ソニーA7 III やiPhone Xs Maxといった商用カメラでさえ、複雑な多焦点レンズ光学系を備えているにもかかわらず、ハイブリッドシステムは全焦点像再構築性能でそれを上回った。特に、ボケた領域の品質が顕著に優れていた。
• HIL手法により、シミュレーションと物理的現実との不一致が効果的に是正され、数値的にモデル化されたPSFに依存せずに、高性能DOEの信頼できる設計が可能になった。