[論文レビュー] FourierNets enable the design of highly non-local optical encoders for computational imaging

Diptodip Deb, Zhenfei Jiao+6 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Vision and Imaging被引用数 10

ひとこと要約

本稿では、計算画像処理における高次な非局所的光学エンコーダーのエンドツーエンド最適化を可能にする、グローバルカーネル・フーリエ畳み込みに基づく新規な浅いニューラルネットワークアーキテクチャ「FourierNets」を紹介する。FourierNetsと大規模なマルチGPU微分可能光学シミュレータを組み合わせることで、先行研究に比べて170倍から7372倍も大きな非局所エンコーダーを実現し、高精度な3次元スナップショートマイクロスコピー再構成と、1台の顕微鏡システム内でROI固有のエンコーディングをプログラマブルに実現することが可能になった。

ABSTRACT

Differentiable simulations of optical systems can be combined with deep learning-based reconstruction networks to enable high performance computational imaging via end-to-end (E2E) optimization of both the optical encoder and the deep decoder. This has enabled imaging applications such as 3D localization microscopy, depth estimation, and lensless photography via the optimization of local optical encoders. More challenging computational imaging applications, such as 3D snapshot microscopy which compresses 3D volumes into single 2D images, require a highly non-local optical encoder. We show that existing deep network decoders have a locality bias which prevents the optimization of such highly non-local optical encoders. We address this with a decoder based on a shallow neural network architecture using global kernel Fourier convolutional neural networks (FourierNets). We show that FourierNets surpass existing deep network based decoders at reconstructing photographs captured by the highly non-local DiffuserCam optical encoder. Further, we show that FourierNets enable E2E optimization of highly non-local optical encoders for 3D snapshot microscopy. By combining FourierNets with a large-scale multi-GPU differentiable optical simulation, we are able to optimize non-local optical encoders 170$ imes$ to 7372$ imes$ larger than prior state of the art, and demonstrate the potential for ROI-type specific optical encoding with a programmable microscope.

研究の動機と目的

• 計算画像処理における高次な非局所的光学エンコーダーのエンドツーエンド最適化を妨げる計算的・アーキテクチャ的障壁を克服すること。
• 標準的なディープラーニングデコーダーに見られる局所性バイアスが、高次な非局所的エンコーディングからの信号再構成能力を制限する問題に対処すること。
• 空間光変調器（SLMs）を用いて、3次元スナップショートマイクロスコピーなどの応用分野向けにプログラマブルかつタスク固有の光学エンコーダーを設計可能にする。
• FourierNetベースのデコーダーが、DiffuserCamのような高次な非局所的エンコーダーからの画像再構成において、標準的なディープネットワークを上回ることを示すこと。
• 大規模かつ非局所的な光学エンコーダーの最適化を可能にする、スケーラブルなマルチGPU微分可能光学シミュレーションフレームワークの開発

提案手法

• 局所的なインダクティブバイアスを伴わずに長距離依存関係を捉えるグローバルカーネル・フーリエ畳み込みに基づく、新たなデコーダー・アーキテクチャ「FourierNet」を提案。
• 複数のGPUを用いた微分可能な物理ベースの光学シミュレーションフレームワークを実装し、高精度に大規模かつ高次な非局所的光学エンコーダーをシミュレート。
• 微分可能シミュレータを用いて、SLMベースの位相マスクを有するような複雑な光学系のポイントスプレッド関数（PSFs）を計算。
• 微分可能シミュレーションを通じてバックプロパゲーションにより、光学エンコーダーのパrametersとFourierNetデコーダーを同時にエンドツーエンドで学習。
• 生物学的サンプルの種類（例：ゼブラフィッシュ脳断面のタイプA、B、C）に特化した、SLMの位相マスクパラメータ（φ）を最適化し、タスク固有の非局所的エンコーダーを生成。
• 3次元トランスポジット畳み込みと残差接続を用いた3次元U-Netに類似したアーキテクチャとFourierNetを統合し、ボリュメトリックな再構成を実現。

実験結果

リサーチクエスチョン

• RQ1 標準的なディープネットワークが再構成に失敗するような高次な非局所的光学エンコーディングを、浅くグローバルな畳み込みネットワーク（FourierNet）が効果的にデコードできるか？
• RQ2 微分可能な物理シミュレーションと適切なデコーダーを用いることで、実用的に最適化可能な非局所的光学エンコーダーの最大サイズはどの程度か？
• RQ3 プログラマブル顕微鏡のSLMのエンドツーエンド最適化により、特定の生物学的サンプルタイプに特化した非局所的光学エンコーダーを生成でき、再構成の精度を向上させられるか？
• RQ4 FourierNetの性能は、DiffuserCamの高次な非局所的エンコーディングからの画像再構成において、標準的なディープラーニングデコーダーと比較してどの程度優れているか？
• RQ5 微分可能光学シミュレーションは、大規模かつ非局所的なエンコーダー（例：先行研究比170倍～7372倍）の最適化をどの程度スケーラブルにサポートできるか？

主な発見

• FourierNetsは、標準的なディープラーニングネットワークデコーダーと比較して、高次な非局所的エンコーディングを用いたDiffuserCamで撮影された画像の再構成において顕著に優れており、ピークサイナリオ比（PSNR）と構造的類似性（SSIM）の両面で優れた性能を示した。
• 著者らは、先行研究比7372倍も大きな光学エンコーダーを成功裏に最適化し、高時間分解能を実現する3次元スナップショートマイクロスコピーにおける新機能の実現に貢献した。
• エンドツーエンド学習により、特定のサンプルタイプ（例：タイプA、B、Cのゼブラフィッシュ脳断面）に最適化された位相マスクは、一般化されたまたは最適化されていないマスクと比較して、より明確で正確な再構成を実現した。
• タイプAサンプルに対してそのタイプに最適化された位相マスクを用いることで、FourierNetベースのデコーダーは、ぼやけが最小限に抑えられ、構造的一致性が極めて高い再構成を達成した。
• 微分可能光学シミュレーションフレームワークにより、波動光学シミュレーション全体をバックプロパゲーション可能にし、SLMの位相マスクとデコーダーネットワークの両方を同時に最適化可能となった。
• プログラマブル顕微鏡へのプロトタイプ実装により、1台の物理的システム内でROI固有の光学エンコーダーを生成する可能性が実証され、タスク適応型計算画像処理の道が開かれた。