[論文レビュー] Deep learning-enabled image quality control in tomographic reconstruction: Robust optical diffraction tomography

DongHun Ryu, YoungJu Jo+7 more|Figshare|Mar 5, 2019

Digital Holography and Microscopy参考文献 35被引用数 4

ひとこと要約

本論文では、きれいなおよびノイズの多い光学フィールド画像の大量アノテートデータセットで訓練された畳み込みニューラルネットワークを用いて、欠陥のあるホログラムデータの自動検出を可能にする、深層学習ベースの光学回折トモグラフィー用品質管理システムを提案する。モデルは90％を超えるテスト精度を達成し、非専門家の視覚的検査やルールベース手法を上回り、低品質な原始データをフィルタリングすることでトモグラフィック再構成品質を顕著に向上させる。

ABSTRACT

In tomographic reconstruction, the image quality of the reconstructed images can be significantly degraded by defects in the measured two-dimensional (2D) raw image data. Despite the importance of screening defective 2D images for robust tomographic reconstruction, manual inspection and rule-based automation suffer from low-throughput and insufficient accuracy, respectively. Here, we present deep learning-enabled quality control for holographic data to produce robust and high-throughput optical diffraction tomography (ODT). The key idea is to distill the knowledge of an expert into a deep convolutional neural network. We built an extensive database of optical field images with clean/noisy annotations, and then trained a binary classification network based upon the data. The trained network outperformed visual inspection by non-expert users and a widely used rule-based algorithm, with > 90% test accuracy. Subsequently, we confirmed that the superior screening performance significantly improved the tomogram quality. To further confirm the trained model's performance and generalizability, we evaluated it on unseen biological cell data obtained with a setup that was not used to generate the training dataset. Lastly, we interpreted the trained model using various visualization techniques that provided the saliency map underlying each model inference.

研究の動機と目的

• トモグラフィック再構成における、低スループットかつ不正確な手動またはルールベースの欠陥2次元原始画像データスクリーニングの課題に対処すること。
• 深層学習を用いた、自動的かつスケーラブルな光学回折トモグラフィー（ODT）における画像品質管理のソリューションを開発すること。
• 再構成の前に欠陥のある入力データを除去することで、再構成トモグラムの頑健性と品質を向上させること。
• 訓練データに含まれない異なる生物学的細胞標本および画像設定に対しても、訓練済みモデルの一般化能力を保証すること。
• 類似度マップなどの解釈可能性技術を用いて、モデルの意思決定プロセスを解明すること。

提案手法

• きれいな画像とノイズのある画像のアノテーションを備えた、大規模な光学フィールド画像データベースを構築し、深層学習モデルの学習に用いた。
• クリーンな画像と欠陥のあるホログラムデータを区別するためのバイナリ分類畳み込みニューラルネットワーク（CNN）を訓練した。
• 専門家のアノテーションからの知識 distillation を用いて、モデルの性能と一般化能力を向上させた。
• 訓練済みモデルを、トモグラフィック再構成の前段階で原始2次元ホログラムデータのスクリーニングに適用した。
• 類似度マップと可視化技術を用いて、モデルの予測を解釈し、分類に影響を与える重要な特徴を同定した。
• 本手法は、訓練時に使用された設定とは異なる別の画像設定で得られた未観測の生物学的細胞データを用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、光学回折トモグラフィーにおける欠陥のあるホログラムデータの同定において、非専門家の視覚的検査を上回ることができるか？
• RQ2 深層学習ベースの品質管理システムは、トモグラフィック再構成の正確性と頑健性を向上させることができるか？
• RQ3 訓練済みモデルは、訓練データに含まれない新しい生物学的サンプルや画像条件に対しても一般化可能か？
• RQ4 モデルは画像品質分類に際して、どのような特徴に依存しているのか？それらは意味的に解釈可能か？
• RQ5 専門家のアノテーションからの知識 distillation は、画像品質管理のための深層学習モデルの性能を向上させることができるか？

主な発見

• 深層学習モデルは、クリーンな画像と欠陥のあるホログラム画像を分類する際、90％を超えるテスト精度を達成し、非専門家の視覚的検査および広く使われているルールベースアルゴリズムを上回った。
• 訓練済みモデルを原始データの事前スクリーニングに用いることで、再構成トモグラムの品質が顕著に向上した。
• 訓練時に使用された設定とは異なる画像設定で得られた未観測の生物学的細胞データに対しても、モデルの一般化能力が高く保たれた。
• 類似度マップ分析から、モデルがホログラム内の関連する構造的特徴に注目していることが判明し、意味的かつ解釈可能な意思決定がなされていることが示された。
• モデルの性能は多様な生物学的サンプルにおいても頑健であったため、高スループットODTシステムにおける実世界での展開の可能性が示された。
• 画像品質管理に深層学習を統合することで、手動による検査への依存が減少し、トモグラフィック再構成パイプラインにおけるスケーラブルかつ自動化されたデータ検証が可能になった。