[論文レビュー] Curriculum Learning for ab initio Deep Learned Refractive Optics

Xinge Yang, Qiang Fu+1 more|arXiv (Cornell University)|Feb 2, 2023

Photonic and Optical Devices参考文献 37被引用数 5

ひとこと要約

本稿では、深層学習ベースの計算画像処理システムにおける、エンドツーエンドでアビ・ニーリオ（初期設計なし）の複合屈折レンズを設計するためのカリキュラム学習に基づく手法を提案する。段階的にタスクの難易度を上げ、歪みを制御することで、複雑なレンズ系の完全自動最適化を可能にする。実際の応用例として、高い非球面性と短いバックフォーカス長を有する、スマートフォン型の小型で拡張された焦点深度を持つカメラの設計を実証した。本手法により、人為的介入や初期設計を一切不要とし、ほぼ焦点深度に依存しない像を得ることに成功した。

ABSTRACT

Deep optical optimization has recently emerged as a new paradigm for designing computational imaging systems using only the output image as the objective. However, it has been limited to either simple optical systems consisting of a single element such as a diffractive optical element (DOE) or metalens, or the fine-tuning of compound lenses from good initial designs. Here we present a DeepLens design method based on curriculum learning, which is able to learn optical designs of compound lenses ab initio from randomly initialized surfaces without human intervention, therefore overcoming the need for a good initial design. We demonstrate the effectiveness of our approach by fully automatically designing both classical imaging lenses and a large field-of-view extended depth-of-field computational lens in a cellphone-style form factor, with highly aspheric surfaces and a short back focal length.

研究の動機と目的

• 優れた初期設計や手動チューニングを必要とする従来の深層レンズ設計手法の限界を克服し、複合屈折レンズの完全自動的・アビ・ニーリオ最適化を可能にすること。
• 深層レンズ設計における非凸最適化の問題に起因する局所最適解への陥落や収束不能を回避するため、人為的監視なしに最適化を実現すること。
• スマートフォームファクタを有する実用的で複雑な光学系（例：拡張焦点深度（EDoF）カメラ）を、ランダムな初期幾何形状から完全に自動的に設計可能であることを実証すること。
• 光学設計と画像再構成を統合したエンドツーエンドの学習フレームワークを構築し、最終的な像質を最適化するために両者を同時に最適化すること。
• 高非球面性や奇数次多項式位相項（例：立方位相）を有する、実世界のモバイルイメージングに適した、高機能でコンactなレンズ設計を可能にすること。

提案手法

• 初期段階では小口径および小視野から始め、段階的にタスクの複雑さを増すことで、局所最適解を回避するカリキュラム学習を採用する。
• 微分可能なレイトラシングを用いて、像質の誤差を光学系全体にバックプロパゲートし、レンズ表面パラメータの勾配ベース最適化を可能にする。
• 最適化中に退化または不安定なレンズ幾何形状を防ぐために、歪みおよび形状制御戦略を適用する。
• 誤差が大きい画像領域に焦点を当てて最適化を実施することで、収束性と最終的な像質を向上させる。
• エンドツーエンドのアプローチで深層ニューラルネットワークを画像再構成に統合し、レンズ設計と再構成ネットワークの両方のパラメータを同時に最適化する。
• 非球面と奇数次多項式位相項（例：立方位相）を組み合わせたハイブリッドサーフェスモデルを採用し、焦点深度に依存しない点 spread 関数を実現する。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習により、良好な初期設計を必要とせずに、エンドツーエンドでアビ・ニーリオの複合屈折レンズ最適化が可能か？
• RQ2 微分可能なレイトラシングとカリキュラム学習を組み合わせることで、複雑で非凸な光学設計空間における局所最適解の問題を克服できるか？
• RQ3 深層学習ベースのレンズ設計フレームワークは、スマートフォームファクタに適した実用的でコンパクトかつ高性能な光学系（例：EDoFカメラ）を生成可能か？
• RQ4 エンドツーエンドに学習されたEDoFレンズの性能は、後処理再構成を伴う古典的光学と比較して、焦点深度の拡張および像質の面で優れているか？
• RQ5 ハイブリッドサーフェスレンズモデル（非球面＋奇数次多項式位相）は、EDoF設計におけるコンパクト性と性能向上にどの程度寄与するか？

主な発見

• 提案手法により、視野角57.3°、20 cmから10 mまでの焦点距離をカバーするスマートフォン型フォームファクタの完全自動的でコンパクトなEDoF計算カメラを設計に成功した。
• エンドツーエンドに学習されたEDoFレンズは、10 mの距離でPSNR 30.17 dBを達成し、後処理再構成を伴う古典的レンズと比較して1.72 dB向上し、20 cmでの古典的レンズと比較して2.47 dBの向上を示した。
• ハイブリッドサーフェスEDoFレンズ設計は、従来のEDoFレンズを上回る性能を発揮し、よりコンパクトな構造を実現しており、実用的利点を示した。
• カリキュラム学習戦略は、人為的監視なしにランダムに初期化されたレンズ幾何形状からも局所最適解を効果的に回避し、収束を可能にした。
• EDoFレンズのセンサー画像はほぼ焦点深度に依存せず、最終的な再構成画像にはアーチファクトがなく、古典的光学に後処理を施した場合よりも顕著にシャープである。
• PSNR曲線（図4）による比較により、本手法は古典的光学に再構成を組み合わせた手法および純粋なネットワークベースのぼかし補正を上回っており、エンドツーエンド最適化の優位性を確認した。