[論文レビュー] MarmoNet: a pipeline for automated projection mapping of the common marmoset brain from whole-brain serial two-photon tomography

Henrik Skibbe, Akiya Watakabe+11 more|arXiv (Cornell University)|Aug 2, 2019

Cell Image Analysis Techniques参考文献 12被引用数 14

ひとこと要約

MarmoNetは、U-Netベースの畳み込みニューラルネットワークと画像登録を用いた深層学習パイプラインであり、一般マーモセットの全脳連続2光子トモグラフィー画像データにおける軸索トレーサー信号のセグメンテーションとプロジェクションマッピングを自動化する。ノイズが多く複雑な脳組織においても、希少で密集した軸索投射を高精度に完全自動で検出可能であり、霊長類脳研究における結合マッピングの効率性と再現性を顕著に向上させる。

ABSTRACT

Understanding the connectivity in the brain is an important prerequisite for understanding how the brain processes information. In the Brain/MINDS project, a connectivity study on marmoset brains uses two-photon microscopy fluorescence images of axonal projections to collect the neuron connectivity from defined brain regions at the mesoscopic scale. The processing of the images requires the detection and segmentation of the axonal tracer signal. The objective is to detect as much tracer signal as possible while not misclassifying other background structures as the signal. This can be challenging because of imaging noise, a cluttered image background, distortions or varying image contrast cause problems. We are developing MarmoNet, a pipeline that processes and analyzes tracer image data of the common marmoset brain. The pipeline incorporates state-of-the-art machine learning techniques based on artificial convolutional neural networks (CNN) and image registration techniques to extract and map all relevant information in a robust manner. The pipeline processes new images in a fully automated way. This report introduces the current state of the tracer signal analysis part of the pipeline.

研究の動機と目的

• マーモセット脳の高解像度でノイズの多い2光子顕微鏡画像における軸索トレーサー信号の手動セグメンテーションの課題に対処すること。
• 変動するコントラスト、強度、構造的複雑性に耐えうる、完全自動のパイプラインを開発し、脳組織内の軸索投射を強固に検出すること。
• Brain/MINDSプロジェクトにおけるマーモセット脳のスケーラブルかつ再現性のある大規模神経結合マッピングの向上を図ること。
• アンテログラッドトレーサー実験からの膨大な量の連続2光子トモグラフィー画像データ処理における人的誤差と時間消費の低減

提案手法

• パイプラインは、2光子蛍光画像からの軸索トレーサー信号のエンドツーエンドセグメンテーションを目的としたエンコーダ・デコーダ構造を有するU-Netアーキテクチャを採用している。
• 入力画像は572×572×nピクセルのパッチとして処理され、n=1の場合は細胞体検出、n=2の場合はトレーサーのセグメンテーション（RおよびGチャンネル）に使用される。
• エンコーダパスでは繰り返し3×3畳み込みとReLU活性化関数、2×2のマックスプーリングを適用し、デコーダパスでは逆畳み込み（アップコンボリューション）とスキップ接続を用いる。
• エンコーダの層からデコーダの層へのスキップ接続により、空間分解能が保持され、セグメンテッドされた軸索構造の局在精度が向上する。
• トレーニングデータセットの多様性を高め、過学習を低減するために、回転、ガンマ補正、非線形的空間変形、グローバルスケーリングなどのデータ拡張技術が適用される。
• ネットワーク最適化には重み付きロジスティック回帰損失関数が用いられ、バッチ正規化とドロップアウト層によりトレーニングの安定化と一般化性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのパイプラインは、多様な画像条件下で複雑でノイズの多いマーモセット脳組織における軸索トレーサー信号のロバストかつ自動セグメンテーションを達成できるか？
• RQ2 U-Netアーキテクチャにおけるスキップ接続とマルチスケール特徴量学習の統合は、従来のヒューリスティック手法と比較して、軸索投射マッピングの精度をどのように向上させるか？
• RQ3 限られた生物学的画像データに高変動性のある信号形態がある状況で、データ拡張はモデルの一般化性能をどの程度向上させるか？
• RQ4 スライディングウィンドウ推論戦略を用いることで、パイプラインは大規模な全脳連続2光子トモグラフィー画像を効率的に処理できるか？

主な発見

• U-NetベースのMarmoNetパイプラインは、希少で細長い軸索や密集したバンプ状の束といった多様な形態パターンにおいて、高精度な軸索トレーサー信号のセグメンテーションを達成している。
• スキップ接続とマルチスケール特徴量学習の活用により、信号対ノイズ比が低い領域でも、軸索投射の正確な空間局在が可能である。
• データ拡張により、限られたトレーニングデータと画像外観の高変動性にもかかわらず、モデルの一般化性能が顕著に向上し、過学習が低減された。
• スライディングウィンドウ推論アプローチを用いることで、パイプラインは大規模な全脳画像スタックを完全自動で処理でき、大規模結合体ゲノム研究の実現を可能にした。
• 従来のエッジ強調や形態的フィルタリングに依存するヒューリスティック手法に比べ、本手法は変動するコントラストや複雑なバックグラウンド構造に対しても優れた性能を示した。