[論文レビュー] Convolutional neural network-based regression for depth prediction in digital holography

Tomoyoshi Shimobaba, Takashi Kakue+1 more|arXiv (Cornell University)|Feb 2, 2018

Digital Holography and Microscopy参考文献 14被引用数 9

ひとこと要約

本稿では、時間のかかる反復的深度探索を回避する、デジタルホログラフィーにおける直接的で高精度な深度予測のための畳み込みニューラルネットワーク（CNN）ベースの回帰モデルを提案する。ホログラムのパワースペクトルを入力として用いることで、ミリメートルレベルの精度（平均誤差7.2 mm）を達成し、1ホログラムあたりの予測時間を2.9秒から3.5 msに短縮し、再構成ワークフローの大幅な高速化を実現した。

ABSTRACT

Digital holography enables us to reconstruct objects in three-dimensional space from holograms captured by an imaging device. For the reconstruction, we need to know the depth position of the recoded object in advance. In this study, we propose depth prediction using convolutional neural network (CNN)-based regression. In the previous researches, the depth of an object was estimated through reconstructed images at different depth positions from a hologram using a certain metric that indicates the most focused depth position; however, such a depth search is time-consuming. The CNN of the proposed method can directly predict the depth position with millimeter precision from holograms.

研究の動機と目的

• デジタルホログラフィーにおける反復的深度探索の必要性を排除し、計算コストが高く時間のかかるプロセスを回避すること。
• ディープラーニングを用いてホログラムから直接的・リアルタイムに深度を予測すること。
• 離散的分類ではなく連続的回帰問題として深度をモデル化することで、深度推定の精度を向上させること。
• 入力特徴量として生のホログラムとそのパワースペクトルの両方を用いたCNN回帰の性能を評価すること。
• パワースペクトルを用いることでネットワーク構造を単純化しながらも、高い予測精度を維持できるかを実証すること。

提案手法

• 4層の畳み込み層、ReLU活性化関数、マックスプーリング、2層の全結合層を備えた深層CNNを用い、連続的な深度値を予測するように訓練する。
• 訓練中に予測深度と真値深度の差を最小化するため、平均二乗誤差（MSE）損失関数を用いる。
• 入力データには生のホログラムとそのパワースペクトルを含め、計算効率を高めるためにサイズを1024×1024ピクセルから128×128ピクセルに縮小する。
• 出力層には線形（恒等写像）活性化関数を用い、連続的な深度予測値を出力する。
• 学習率0.0005で初期化したAdam最適化アルゴリズムを用い、損失が停滞した際に学習率を調整する。
• ベースラインの深度探索比較において、回折計算にアングルスペクトラム法を用いる。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの回帰モデルは、反復的深度探索を経ずに、デジタルホログラフィーにおける深度をミリメートルレベルの精度で予測できるか？
• RQ2 生のホログラムと比較して、ホログラムのパワースペクトルを用いることで、予測精度とモデルの複雑さにどのような差が生じるか？
• RQ3 提案されたCNNの推論速度は、焦点評価指標を用いた従来の深度探索と比べてどの程度速いか？
• RQ4 異なる物体の深度やホログラフィック設定に対しても、CNNは高い精度で一般化できるか？
• RQ5 パワースペクトルを用いる場合、ホログラムサイズを128×128ピクセルに縮小しても深度予測性能が損なわれるか？

主な発見

• パワースペクトルを入力として用いたCNNモデルは、平均深度誤差7.2 mmを達成し、検証損失は5.245×10⁻⁵であった。
• 生のホログラムのみを入力としたモデルは、平均誤差が50 mmにまで上昇し、検証損失は0.00249であった。
• 提案されたCNNは、深度予測時間をGPU上で2,892 ms（深度探索時）からわずか3.5 msに短縮した。
• タマラ係数に基づく深度探索では焦点面が0.147 mと特定されたが、CNNは0.138 mを予測し、5 mmの誤差を示した。
• パワースペクトル入力により、より単純なネットワーク構造が可能となり、生のホログラム入力よりも著しく優れた性能を発揮した。
• 本手法は、特に縮小されたパワースペクトルを用いる場合、デジタルホログラフィーにおけるリアルタイム深度予測の実現可能性を示した。