[論文レビュー] Image reconstruction through a multimode fiber with a simple neural network architecture

Changyan Zhu, Eng Aik Chan+6 more|arXiv (Cornell University)|Jun 10, 2020

Random lasers and scattering media参考文献 41被引用数 12

ひとこと要約

本論文は、複数モードファイバから複雑なスパーキルパターンを復元する際、単純な1層隠れ層全結合ニューラルネットワーク（SHL-DNN）が、最先端のU-Net畳み込みニューラルネットワーク（CNN）と同等の画像再構成忠実度を達成することを示している。一方、訓練時間と計算リソースの消費が著しく少ない。SHL-DNNは16分でSSIMが0.775に飽和し、同じハードウェアで3.5時間訓練したU-Netの0.767を上回る。両モデルとも、訓練終了後1週間以上にわたり性能を維持する。

ABSTRACT

Multimode fibers (MMFs) have the potential to carry complex images for endoscopy and related applications, but decoding the complex speckle patterns produced by mode-mixing and modal dispersion in MMFs is a serious challenge. Several groups have recently shown that convolutional neural networks (CNNs) can be trained to perform high-fidelity MMF image reconstruction. We find that a considerably simpler neural network architecture, the single hidden layer dense neural network, performs at least as well as previously-used CNNs in terms of image reconstruction fidelity, and is superior in terms of training time and computing resources required. The trained networks can accurately reconstruct MMF images collected over a week after the cessation of the training set, with the dense network performing as well as the CNN over the entire period.

研究の動機と目的

• マルチモードファイバ（MMF）のスパーキルパターンから画像を再構成する際、単純な全結合ニューラルネットワーク（DNN）と畳み込みニューラルネットワーク（CNN）の性能を比較すること。
• スパーキルパターンのグローバルな空間的構造を考慮すると、CNNの局所的特徴抽出能力がMMF画像再構成に必要かどうかを特定すること。
• 訓練終了後、長期間にわたり訓練済みネットワークのロバストネスと一般化性能がどのように保たれるかを評価すること。
• この文脈において、より深い構造やハイブリッドアーキテクチャ（例：VGG型）が最小限のDNNに比べて利点を示すかどうかを評価すること。

提案手法

• MMF出力スパーキルパターンを入力画像にマッピングする目的で、事前に知られた訓練データを用いて1層隠れ層全結合ニューラルネットワーク（SHL-DNN）を訓練する。
• ベンチマークとして、4倍のフィルタ数と64×64の入力解像度を有する最適化済みU-Net CNNアーキテクチャを用いる。
• SHL-DNNは、最適な性能を得るためにハイパーパramータを調整した構造的類似度指標（SSIM）を目的関数として使用して訓練される。
• 訓練は、既知の入力画像と対応するMMF出力スパーキルパターンのデータセットを用い、訓練後235時間以内に収集された未学習データを用いて検証が行われる。
• 複数のデータセット（MNISTおよびFashion-MNISTを含む）を用いて、SSIM、MSE、視覚的忠実度の観点から性能を評価する。
• 活性化関数、損失関数、ネットワークの深さに関するアブレーションスタディを実施し、性能要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 単純な1層隠れ層全結合ニューラルネットワーク（SHL-DNN）は、マルチモードファイバ画像再構成において、複雑なU-Net CNNと同等の画像再構成忠実度を達成できるか？
• RQ2 DNNは、MMF画像復元において、高忠実度を維持しながら、訓練効率とリソース消費を向上させることができるか？
• RQ3 訓練データが利用できなくなった後、訓練済みネットワークの性能は時間経過とともに低下するか、それとも安定を保つのか？
• RQ4 MMFスパーキルパターンのグローバルな空間的構造は、畳み込み層の局所的受容野ではなく、全結合層によってより良く捉えられるか？
• RQ5 畳み込み層と全結合層を組み合わせたハイブリッドアーキテクチャ（例：VGG型）は、最小限のDNNに比べて、このタスクで性能向上をもたらすか？

主な発見

• SHL-DNNは16分でSSIMが0.775に飽和し、同じハードウェアで3.5時間訓練したU-Netの0.767を上回る。
• SHL-DNNは2000万パラメータで十分であり、U-Netの3100万パラメータに比べて顕著に低いモデル複雑度を示す。
• SHL-DNNおよびU-Netの両モデルは、訓練データ作成後235時間経過した画像に対しても高い再構成忠実度を維持しており、優れた一般化性能と安定性を示している。
• 畳み込み層と全結合層を組み合わせたVGG型ネットワークは、SHL-DNNを上回る性能を示さず、この文脈では畳み込み演算を追加しても利点がないことが示唆された。
• SHL-DNNにおける活性化関数の選択が性能に顕著な影響を与え、隠れ層および出力層にシグモイド活性化関数を用いた場合が最も優れた結果をもたらした。
• MSEや交差エントロピーなどの代替損失関数は、このタスクにおいてSSIMベースの目的関数を上回る性能を発揮しなかった。