[論文レビュー] D-Flat: A Differentiable Flat-Optics Framework for End-to-End Metasurface Visual Sensor Design

Dean Hazineh, Soon Wei Daniel Lim+4 more|arXiv (Cornell University)|Jul 29, 2022

Metamaterials and Metasurfaces Applications被引用数 8

ひとこと要約

D-Flat は、メタサーフェスの幾何形状とポストキャプチャ処理の両方を勾配ベースで最適化可能な、微分可能でTensorFlowに基づくフレームワークであり、エンドツーエンドのメタサーフェス視覚センサー設計を可能にする。RCWAおよびアンギュラースペクトル法（ASM）を用いてミリメートル〜センチメートルスケールのメタサーフェスを高速かつ物理的に正確にシミュレートでき、単回露光による深度センシングおよび空間周波数フィルタリングの逆設計に成功。理論的ベンチマークと高い一致度を示した。

ABSTRACT

Optical metasurfaces are planar substrates with custom-designed, nanoscale features that selectively modulate incident light with respect to direction, wavelength, and polarization. When coupled with photodetectors and appropriate post-capture processing, they provide a means to create computational imagers and sensors that are exceptionally small and have distinctive capabilities. We introduce D-Flat, a framework in TensorFlow that renders physically-accurate images induced by metasurface optical systems. This framework is fully differentiable with respect to metasurface shape and post-capture computational parameters and allows simultaneous optimization with respect to almost any measure of sensor performance. D-Flat enables simulation of millimeter to centimeter diameter metasurfaces on commodity computers, and it is modular in the sense of accommodating a variety of wave optics models for scattering at the metasurface and for propagation to photosensors. We validate D-Flat against symbolic calculations and previous experimental measurements, and we provide simulations that demonstrate its ability to discover novel computational sensor designs for two applications: single-shot depth sensing and single-shot spatial frequency filtering.

研究の動機と目的

• コンパクトで高性能なセンサーを実現するため、メタサーフェス光学系と計算的ポストプロセッシングの共同最適化を加速すること。
• 大面積メタサーフェスにおけるフルスケールの電磁気的シミュレーションの計算的非実行可能性を解消するため、セルベースの近似を用いること。
• メタサーフェスの幾何形状と、畳み込みニューラルネットワーク（CNNs）などの下流処理パイプラインの両方を勾配ベースで最適化可能にすること。
• 新規の計算画像処理システムの迅速なプロトタイピングを可能にするモジュラーで拡張可能なフレームワークを提供すること。
• シンボリック計算および実験データとの整合性を確認することで、シミュレーションにおける物理的正確性を保証すること。

提案手法

• 各サブ波長セルをナノスケール幾何形状（例：ナノシリンダー、ナノフィン）でパrameter化された独立した光学素子として扱うセルベースのメタサーフェスモデルを採用する。
• 各セルの光学応答とセンサー面への場の伝搬を計算するために、微分可能な2つの波動光学モデル（厳密なカップルドウェーブ解析：RCWA、アンギュラースペクトル法：ASM）を採用する。
• 近場伝搬にはフレネル近似を適用し、高数値孔径（NA）システムでは精度を維持するためにASMに移行する。
• TensorFlowにおける自動微分を活用して、メタサーフェス設計とポストキャプチャ処理（例：CNNs）の両方をエンドツーエンドでバックプロパゲーション可能にする。
• 画像のシャープネス、深度の正確性、周波数応答など、任意の微分可能な指標を用いてシステム性能の最適化を可能にする。
• 周波数ドメインでの挙動、特にエッジ検出タスクにおける性能を分析・検証するために、光学伝達関数（OTF）と点像関数（PSF）を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分可能なフレームワークは、計算画像処理のためのメタサーフェス幾何形状とポストキャプチャ処理の共同最適化を可能にするか？
• RQ2 微分可能なシミュレーションフレームワークは、回折限界の焦点化や空間周波数フィルタリングを含む物理的光学挙動をどれほど正確に再現できるか？
• RQ3 このフレームワークは、深度またはエッジ検出のような単回露光センシングタスクのための、新しいメタサーフェス設計をどれほど発見できるか？
• RQ4 高数値孔径において、伝搬モデルの選択（フレネル vs. ASM）がシミュレーションの正確性にどのように影響するか？
• RQ5 焦点化およびOTF応答において、理論的限界（例：エアリー・ディスク）に相当する性能を達成できるか？

主な発見

• D-Flat は、金属レンズ系における理論的エアリー強度プロファイルを正確に再現しており、特に高NA条件下ではASMを用いた場合に、シミュレート結果と解析的結果の間に強い一致を示した。
• フレームワークは、単回露光による1次微分画像処理を実行するメタサーフェスの逆設計に成功しており、ネットOTFはゼロ周波数近傍で線形の実部と反対称な虚部を示し、1次微分と整合的であった。
• 2次微分画像処理では、ゼロ周波数近傍で実部が2次関数的であることが確認され、エッジ検出に適したガウス関数のラプラシアンを模倣できることが示された。
• 最適化されたシステムのシミュレートされたPSFは、従来の2次微分カーネルの期待される形状と密接に一致しており、フレームワークが機能的な光学系を発見できる能力を検証した。
• D-Flat は、コンsumerハードウェア上でもミリメートルスケールのメタサーフェスをシミュレート可能であり、微分可能な波動光学とモジュラー設計のおかげで高い計算効率を達成した。
• フレームワークは、さまざまなメタサーフェスサイズや構成に対して頑健であり、RCWAとASMモデルは設計領域に応じて補完的な正確性を示した。