[論文レビュー] Stacked Neural Networks for end-to-end ciliary motion analysis

Charles Lu, Mirko Marx+4 more|arXiv (Cornell University)|Mar 20, 2018

Retinal Imaging and Analysis参考文献 12被引用数 4

ひとこと要約

本論文は、スタックドDenseNetと畳み込みLSTMを用いたエンド・ツー・エンドのディープラーニングパイプラインを提案し、高速動画内のショートを自動的に検出するとともに、光流不変量を用いて運動特徴を抽出し、90%の正確性で正常または異常なショート運動を分類する。このフレームワークにより、手動アノテーションを一切不要とし、完全に自動化されスケーラブルな解析が可能となる。

ABSTRACT

Cilia are hairlike structures protruding from nearly every cell in the body. Diseases known as ciliopathies, where cilia function is disrupted, can result in a wide spectrum of disorders. However, most techniques for assessing ciliary motion rely on manual identification and tracking of cilia; this process is laborious and error-prone, and does not scale well. Even where automated ciliary motion analysis tools exist, their applicability is limited. Here, we propose an end-to-end computational machine learning pipeline that automatically identifies regions of cilia from videos, extracts patches of cilia, and classifies patients as exhibiting normal or abnormal ciliary motion. In particular, we demonstrate how convolutional LSTM are able to encode complex features while remaining sensitive enough to differentiate between a variety of motion patterns. Our framework achieves 90% with only a few hundred training epochs. We find that the combination of segmentation and classification networks in a single pipeline yields performance comparable to existing computational pipelines, while providing the additional benefit of an end-to-end, fully-automated analysis toolbox for ciliary motion.

研究の動機と目的

• 手作業および準自動化されたショート運動解析の限界、すなわち時間のかかりすぎ、誤差の発生、スケーラビリティの欠如を是正すること。
• 手動による干渉を完全に排除する、完全に自動化されたエンド・ツー・エンドのパイプラインの開発。
• 主観的な視覚的評価を標準化されたディープラーニングフレームワークに置き換えることで、機関間でのショート運動診断の比較可能性を向上させること。
• ショート運動パターンからの空間的・時間的特徴を活用し、シロパチーにおける微細な異常を区別すること。
• セマンティックセグメンテーションと時間的分類を組み合わせたスタックドアーキテクチャが、最小限の人的入力で高い診断正確性を達成できることを実証すること。

提案手法

• 高速動画フレーム内のショート領域をセマンティックセグメンテーションするためにDenseNetを用い、4つのクラス（側面視ショート、上からショート、細胞体、バックグラウンド）を対象とする。
• ランダムクロップ（256×256）および水平・垂直反転を用いたデータ拡張により、画像変動に対する耐性を高める。
• 光流の微分を計算し、特に瞬間的な回転を運動感受性特徴として抽出する。
• セグメンテーションされたショート領域から小さな空間的・時間的パッチを抽出し、それらを畳み込みLSTMネットワークに供給して時間的ダイナミクスをモデル化する。
• 分類性能を最適化するために、分類ネットワークとセグメンテーションネットワークをスタックし、エンド・ツー・エンドで同時に訓練する。
• セグメンテーションネットワークの教師あり学習のために、一部の動画に対してITK-SNAPを用いて真値セグメンテーションマスクを生成する。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションを一切行わず、完全にエンド・ツー・エンドのディープラーニングパイプラインが高精度なショート運動分類を達成できるか？
• RQ2 DenseNetを用いたセグメンテーションとConvolutional LSTMを用いた分類の組み合わせは、複雑なショート運動パターンをどれほど効果的に捉えられるか？
• RQ3 光流回転などの運動不変量は、生のピクセルデータに比べて分類性能をどの程度向上させるか？
• RQ4 特に細胞体が曖昧な場合に、モデルの性能とセグメンテーション品質の相関はどの程度か？
• RQ5 臨床的動画記録に一般的に見られる多様なショート形態やアーティファクトに対し、このフレームワークは一般化可能か？

主な発見

• 提案されたエンド・ツー・エンドパイプラインは、数百分の学習エポックしか使用しなくても、正常対異常のショート運動を90%の正確性で分類する。
• 分類モデルの性能は、特に明確に細胞体とショートが区別できる動画において、セグメンテーションマスクの品質に強く相関している。
• 高品質なセグメンテーションにより、より良いパッチ抽出が可能となり、それが畳み込みLSTMに供給される特徴表現を向上させる。
• データ拡張と特徴工学により、不均一な照明、カメラの移動、焦点のずれなどの画像アーティファクトに対しても、フレームワークは頑健であることが示された。
• 正常ショート運動の変動性が著しく高いにもかかわらず、モデルは病理的パターンを効果的に区別できており、運動不変量からの有効な特徴学習が行われていることが示唆される。
• スタックドアーキテクチャは、分離されたセグメンテーションまたは分類パイプラインを上回る性能を示し、エンド・ツー・エンドシステムにおける共同最適化の利点を確認した。