[論文レビュー] Convolutional neural networks that teach microscopes how to image

Roarke Horstmeyer, Richard Y. Chen+2 more|arXiv (Cornell University)|Sep 21, 2017

Cell Image Analysis Techniques参考文献 22被引用数 42

ひとこと要約

本稿では、マラリア感染赤血球の顕微鏡照明パターンと画像分類を同時に最適化する物理的畳み込みニューラルネットワーク（P-CNN）を提案する。CNNの初期層に光学的像形成モデルを統合することで、最適なLED照明パターンと分類器を同時に学習し、標準的な明-field顕微鏡法やフォーリエ・プティコグラフィーと比較して5–10%高い分類精度を達成した。

ABSTRACT

Deep learning algorithms offer a powerful means to automatically analyze the content of medical images. However, many biological samples of interest are primarily transparent to visible light and contain features that are difficult to resolve with a standard optical microscope. Here, we use a convolutional neural network (CNN) not only to classify images, but also to optimize the physical layout of the imaging device itself. We increase the classification accuracy of a microscope's recorded images by merging an optical model of image formation into the pipeline of a CNN. The resulting network simultaneously determines an ideal illumination arrangement to highlight important sample features during image acquisition, along with a set of convolutional weights to classify the detected images post-capture. We demonstrate our joint optimization technique with an experimental microscope configuration that automatically identifies malaria-infected cells with 5-10% higher accuracy than standard and alternative microscope lighting designs.

研究の動機と目的

• ディープラーニングにおける画像取得と後処理のギャップを埋めるために、撮像ハードウェアと分類モデルを同時に最適化すること。
• 特徴強調のための最適な照明を学習するCNNを用いて、マラリア感染赤血球の検出精度を向上させること。
• 顕微鏡の物理的パrameter、特に照明が分類性能に顕著に影響することを示すこと。
• CNNが画像分類に加え、撮像設定自体を設計するフレームワークを開発すること。
• 撮像ハードウェアと学習ベースの分類パイプラインを共同最適化することで、より効率的で正確な診断を可能にすること。

提案手法

• CNNの最初の層に、光学的像形成モデルを統合し、照明パターンを学習可能なパrameterとして扱う。
• テンソル積層を用いて、照明パターンと試料透過率の相互作用をモデル化し、像形成をシミュレートする。
• 物理的モデリングの後に、畳み込み層、プーリング層、全結合層を備えた標準的なCNNアーキテクチャを用いて分類を行う。
• バックプロパゲーションを用いて、照明重みと分類器パrameterを同時に最適化するエンドツーエンドの訓練を実施する。
• 過学習を防ぐために、最終的な全結合層と出力層の間にドロップアウト（確率0.5）を適用する。
• Adam最適化法を用い、特定のハイパーパrameter（β₁=0.9, β₂=0.999, ε=1e-8, ステップサイズ 10⁻⁴ または 10⁻³）を設定して訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 CNNは顕微鏡の照明パターンと画像分類を同時に最適化できるか？
• RQ2 標準的な明-field像形成法と比較して、最適な照明パターンを学習することで分類精度が向上するか？
• RQ3 像形成の物理的モデルをCNNに組み込むことで、ハードウェア最適化を支援できるか？
• RQ4 共同最適化フレームワークの性能は、フォーリエ・プティコグラフィーなどの代替撮像技術と比べてどうか？
• RQ5 深層学習を用いて、特定の分類タスクに特化した照明設計をどの程度まで最適化できるか？

主な発見

• 提案されたP-CNNフレームワークは、標準的な明-field顕微鏡法と比較して、プラスマジウム・ファルシパラム感染赤血球の検出において5–10%高い分類精度を達成した。
• ネットワークは、正負の重みを持つ2種類のLED照明パターンを学習し、分類のための特徴の可視性を向上させた。
• より高解像度を提供するが、より多くの画像を必要とし、効率性に欠けるフォーリエ・プティコグラフィーを上回った。
• エンドツーエンドの学習による照明と分類の共同最適化は、一般化性能と特徴感度の向上に寄与した。
• 物理的撮像パrameterが後続の分類性能に顕著に影響することを示し、ネットワークが直接それらを学習可能であることを実証した。
• 本手法は、位相プレート、スペクトル設定、偏光設定などの他の撮像パrameterに対しても拡張可能である。