[論文レビュー] Foveated Thermal Computational Imaging in the Wild Using All-Silicon Meta-Optics

Vishwanath Saragadam, Zheyi Han+8 more|arXiv (Cornell University)|Dec 13, 2022

Photonic and Optical Devices被引用数 5

ひとこと要約

本稿では、長波長赤外線（LWIR）帯域における、最初のリアルタイム・オールシリコンメタオプティクスシステムを用いたフォアスケール熱画像撮影を提案する。偏光感受性メタレンズと回転する偏光子を用いて、高解像度のフォアスケールと低解像度の周辺フォアスケールの画像を多重化し、その後、ディープイメージプライア又は高速最小二乗法による計算的再構成を施すことにより、1:6のフォアスケール拡大を実現した。本システムは、実環境条件下で12 fpsのフォアスケール動画撮影を達成した。

ABSTRACT

Foveated imaging provides a better tradeoff between situational awareness (field of view) and resolution and is critical in long-wavelength infrared regimes because of the size, weight, power, and cost of thermal sensors. We demonstrate computational foveated imaging by exploiting the ability of a meta-optical frontend to discriminate between different polarization states and a computational backend to reconstruct the captured image/video. The frontend is a three-element optic: the first element which we call the "foveal" element is a metalens that focuses s-polarized light at a distance of $f_1$ without affecting the p-polarized light; the second element which we call the "perifoveal" element is another metalens that focuses p-polarized light at a distance of $f_2$ without affecting the s-polarized light. The third element is a freely rotating polarizer that dynamically changes the mixing ratios between the two polarization states. Both the foveal element (focal length = 150mm; diameter = 75mm), and the perifoveal element (focal length = 25mm; diameter = 25mm) were fabricated as polarization-sensitive, all-silicon, meta surfaces resulting in a large-aperture, 1:6 foveal expansion, thermal imaging capability. A computational backend then utilizes a deep image prior to separate the resultant multiplexed image or video into a foveated image consisting of a high-resolution center and a lower-resolution large field of view context. We build a first-of-its-kind prototype system and demonstrate 12 frames per second real-time, thermal, foveated image, and video capture in the wild.

研究の動機と目的

• 熱画像撮影システムにおいて、高解像度のターゲット検出と広視野の状況認識を同時に達成する課題に取り組む。
• 大規模なピクセルサイズと材料制約のため、従来のフォアスケールセンサーや動的光学がLWIR帯域で直面する制限を克服する。
• 偏光多重化を用いたオールシリコンメタオプティクスと組み合わせ、実環境下でリアルタイムの計算的フォアスケール画像撮影を可能にする。
• 12 fpsのフォアスケール熱動画撮影が可能なプロトタイプシステムを実証する。

提案手法

• フォアスケール用メタレンズ（150 mm、s偏光を焦点化）、周辺フォアスケール用メタレンズ（25 mm、p偏光を焦点化）、および混合比を制御する自由に回転する偏光子を備えた3要素のメタオプティカルフロントエンドを設計する。
• 両メタレンズを偏光感受性で、オールシリコンメタサーフェスとして実装し、大口径・低損失・広帯域のLWIR動作を可能にする。
• 回転する偏光子を用いて、フォアスケールと周辺フォアスケールの画像間の強度比を動的に変調し、1つの熱センサーに多重化された測定値を生成する。
• 計算的バックエンドとして、ディープイメージプライアを用いて、多重化されたデータから高解像度のフォアスケールと低解像度の周辺フォアスケールの画像を分離・再構成する。
• 混合比が事前に分かっている場合に、高速最小二乗ソルバーを用いてリアルタイム再構成を実現し、バイラテラルフィルタリングでノイズを低減することで、最大40 fpsを達成する。
• 2段階の画像登録およびキャリブレーションパイプラインを実装し、フォアスケールと周辺フォアスケール部品間の剛体変換（スケーリングと平行移動）を推定することで、正確な再構成を実現する。

実験結果

リサーチクエスチョン

• RQ1 従来の光学素子やセンサーが根本的な制限に直面するLWIR帯域において、偏光多重化メタオプティクスがフォアスケール熱画像撮影を可能にするか？
• RQ2 計算的画像処理技術を活用することで、1つの多重化測定値から高品質なフォアスケール熱画像を再構成できるか？
• RQ3 運動ブラーまたは不良分離を避けるために、高品質な再構成に最適なフレーム数は何か？
• RQ4 混合比が事前に分かっている場合に、計算効率の良い手法でリアルタイムのフォアスケール熱動画を達成できるか？
• RQ5 機械的アライメントがキャプチャごとに変動する場合に、システムキャリブレーションをどのようにして頑健に実施できるか？

主な発見

• プロトタイプシステムは、実環境条件下で12 fpsのフォアスケール熱動画撮影を成功裏に実現し、LWIR帯域における計算的フォアスケール画像撮影の最初のリアルタイム実装を実証した。
• 12～16フレームのキャプチャで、情報量と運動ブラーのバランスを最適化した再構成品質が達成された。フレーム数が少ない場合は分離不良が顕著で、フレーム数が多いとブラーが増加した。
• 既知の混合比と高速最小二乗ソルバーを用いることで、最大40 fpsのリアルタイム再構成が可能であるが、ディープイメージプライアベースの再構成よりノイズが多くなる。
• ディープイメージプライアベースの再構成は、より高品質な結果をもたらすが、1フレームあたり最大50秒を要するため、リアルタイム用途には不適切である。
• 2段階のキャリブレーションプロセス（固定1:6スケーリングを用いた初期平行移動推定と、強度に基づく最適化）により、アライメントの変動にかかわらず、フォアスケールと周辺フォアスケール部品の正確な登録が可能となった。
• 150 mm（フォアスケール）対25 mm（周辺フォアスケール）の1:6のフォアスケール拡大を達成し、高解像度の中心画像と広視野の文脈を同時に提供する。この成果は、シミュレーションと実環境実験の両方で検証された。