[論文レビュー] Bessel Equivariant Networks for Inversion of Transmission Effects in Multi-Mode Optical Fibres

Joshua Mitton, Simon Peter Mekhail+4 more|arXiv (Cornell University)|Jul 26, 2022

Optical Coherence Tomography Applications被引用数 5

ひとこと要約

本稿では、円筒調和基底関数を用いて方位相関をモデル化することで、多モード光ファイバー内の透過効果を効率的に逆転する新しいSO⁺(2,1)-等長ニューラルネットワーク、ベッセル等長ネットワーク（BEN）を提案する。この手法により、パラメータスケーリングをO(N⁴)からO(m)に削減し、従来の線形モデルやCNNベースのモデルと比較して、一般化性能とスケーラビリティに優れた256×256画相の再構成が可能になった。

ABSTRACT

We develop a new type of model for solving the task of inverting the transmission effects of multi-mode optical fibres through the construction of an $\mathrm{SO}^{+}(2,1)$-equivariant neural network. This model takes advantage of the of the azimuthal correlations known to exist in fibre speckle patterns and naturally accounts for the difference in spatial arrangement between input and speckle patterns. In addition, we use a second post-processing network to remove circular artifacts, fill gaps, and sharpen the images, which is required due to the nature of optical fibre transmission. This two stage approach allows for the inspection of the predicted images produced by the more robust physically motivated equivariant model, which could be useful in a safety-critical application, or by the output of both models, which produces high quality images. Further, this model can scale to previously unachievable resolutions of imaging with multi-mode optical fibres and is demonstrated on $256 imes 256$ pixel images. This is a result of improving the trainable parameter requirement from $\mathcal{O}(N^4)$ to $\mathcal{O}(m)$, where $N$ is pixel size and $m$ is number of fibre modes. Finally, this model generalises to new images, outside of the set of training data classes, better than previous models.

研究の動機と目的

• 高解像度イメージングを実現するため、複雑で非局所的なスパーキルパターンを有する多モード光ファイバーの逆問題を解決すること。
• ファイバー伝送の物理的対称性を尊重するスケーラブルでデータ効率の良いディープラーニングモデルを開発すること。
• 学習データ分布外の画像に対しても一般化性能を向上させること。
• 密行列線形モデルのO(N⁴)パラメータスケーリングと、標準CNNのスケーラビリティ制限を克服すること。
• 単一の多モードファイバーを用いた実用的で安全が求められるイメージング応用を実現すること。

提案手法

• 本モデルは、ファイバーモードの円筒対称性を表現するためにベッセル関数を基底関数として用いるSO⁺(2,1)-等長層を採用する。
• 群論的等長性を通じて、入力とスパーキルパターンの空間的配置の違いを自然に扱う表現を構築する。
• ファイバーの物理的伝送行列から導出された、21個の径方向周波数と1061モードの学習可能な基底を用いる。
• 二段階パイプラインを採用：まず、ベッセル等長モデルが粗い再構成を予測し、次に、後処理ネットワークが出力を精錬してアーチファクトを低減し、シャープネスを向上させる。
• 本モデルのパラメータ効率性は、伝送行列の構造を調和基底分解によって活用することで生じ、トレーニング可能なパラメータをO(m)にまで削減する。ここでmはファイバーのモード数を表す。
• 本手法は、特定のデータ分布にフィットするのではなく、物理的に根拠のある対称性を学習することで、先行手法よりも優れた一般化性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 ベッセル関数に基づく等長ニューラルネットワークは、高解像度において多モード光ファイバーの伝送効果を効果的に逆転できるか？
• RQ2 SO⁺(2,1)-等長設計は、標準CNNや線形モデルと比較して、未観測の画像クラスへの一般化性能を向上させるか？
• RQ3 密行列層ではなく調和基底を用いることで、パラメータスケーリングはどの程度改善されるか？
• RQ4 スパーキルパターンにおける円形相関を明示的にモデル化することで、再構成品質にどのような影響を与えるか？
• RQ5 等長モデルと後処理の二段階アーキテクチャは、エンドツーエンドモデルに比べてより高い画像忠実度を達成できるか？

主な発見

• ベッセル等長ネットワークは、機械学習的手法として初めて、スパーキルパターンから256×256ピクセルの画像を再構成することに成功した。
• パラメータ数をO(N⁴)からO(m)に削減し、256×256解像度において密行列線形モデルと比較して10倍のパラメータ削減を達成した。
• 完全な基底（21個の径方向周波数）を用いたベッセル等長モデルは、fMNISTデータセットでテスト損失0.0139を達成し、後処理を組み合わせることで0.0032まで改善した。
• 基底の過小化（例：径方向周波数を4に減少）により、テスト損失は0.0296に上昇し、十分な基底カバーの重要性が確認された。
• 多様なテストセットでの性能向上により、本モデルは先行手法よりもOoD（分布外）画像への一般化性能に優れていることが示された。
• 後処理ネットワークは円形アーチファクトを効果的に除去し、ギャップを埋め、画像をシャープにし、視覚的品質を著しく向上させた。