[論文レビュー] Geometric deep learning reveals the spatiotemporal fingerprint of microscopic motion

Jesús Pineda, Benjamin Midtvedt+5 more|arXiv (Cornell University)|Feb 13, 2022

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本論文は、幾何的深層学習フレームワークであるMAGIKを紹介する。このフレームワークは、グラフニューラルネットワークと注目メカニズムを組み合わせ、複雑な生物学的顕微鏡データにおける時空間的ダイナミクスを正確に推定することを目的としている。軌道を幾何的事前知識を備えた動的グラフとしてモデル化することで、MAGIKは、単一分子の運動やプランクトンの移動を含む多様な生物学的状況において、トラッキング、リンク、拡散特性の推定という分野最高水準の性能を達成する。

ABSTRACT

The characterization of dynamical processes in living systems provides important clues for their mechanistic interpretation and link to biological functions. Thanks to recent advances in microscopy techniques, it is now possible to routinely record the motion of cells, organelles, and individual molecules at multiple spatiotemporal scales in physiological conditions. However, the automated analysis of dynamics occurring in crowded and complex environments still lags behind the acquisition of microscopic image sequences. Here, we present a framework based on geometric deep learning that achieves the accurate estimation of dynamical properties in various biologically-relevant scenarios. This deep-learning approach relies on a graph neural network enhanced by attention-based components. By processing object features with geometric priors, the network is capable of performing multiple tasks, from linking coordinates into trajectories to inferring local and global dynamic properties. We demonstrate the flexibility and reliability of this approach by applying it to real and simulated data corresponding to a broad range of biological experiments.

研究の動機と目的

• 混雑した多様性に富んだ生物学的環境における、自動的かつ正確な顕微鏡的運動解析の課題に取り組むこと。
• 実際の顕微鏡データおよびシミュレーションデータ上で、軌道のリンク、動的特性の推定、イベント検出という複数のタスクを統合的に実行できる深層学習フレームワークの開発。
• 従来のトラッキングパイプラインにおける、検出、局在化、リンク、推定の各段階で発生する誤差の伝搬を克服すること。
• ノイズ、オブジェクトの密集、複雑な運動パターンに対してより高い耐性を示すために、幾何的事前知識と注目メカニズムをグラフニューラルネットワークに統合すること。
• 手動で設計された特徴量や運動モデルの仮定に依存せずに、生画像シーケンスから時空間的ダイナミクスをエンド・ツー・エンドで学習できる仕組みの構築。

提案手法

• フレームワークは、所定の距離と時間窓内にある検出対象を接続する有向時空間的グラフとして、検出されたオブジェクトをノードとしてモデル化する。
• ノード特徴量には重心位置、形状的および強度的記述子を含む。エッジ特徴量はノードペア間のユークリッド距離を符号化する。
• システム全体の動的挙動を捉えるために、学習可能なグローバルトークンUをグラフに追加する。
• コアアーキテクチャは、メッセージパッシングによりノード、エッジ、グローバル表現を更新する、フィンガープリントングラフニューラルネットワーク（FGNN）ブロックを採用。マルチヘッド注目を用いる。
• 入力特徴量を潜在表現にマップするための学習可能な符号化関数φv、φe、φuを用い、その後、φv'、φe'、φu'による復号により軌道と動的パラメータを予測する。
• トラッキングおよび動的特性推定のための教師あり損失関数を用いてエンド・ツー・エンドで学習し、AOGM-A指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 幾何的深層学習フレームワークは、最小限の人的介入で、複雑で混雑した生物学的顕微鏡シーケンスにおいて、軌道を正確に再構築できるか？
• RQ2 注目メカニズムを備えたグラフニューラルネットワークは、画像シーケンスから直接、局所的およびグローバルな動的特性（例：異常拡散指数や拡散係数）をどの程度正確に推定できるか？
• RQ3 本手法は、単一分子の運動、細胞移動、プランクトンダイナミクスを含む多様な生物学的状況において、どの程度の性能を示すか？
• RQ4 時空間的グラフ構造のみから、細胞分裂や移動性パターンの変化といった生物学的に有意義なイベントを検出できるか？
• RQ5 幾何的事前知識と学習可能なグローバルトークンを組み込むことで、標準的なトラッキングベースラインと比較して、一般化性能と耐性が向上するか？

主な発見

• MAGIKは、第6回Cell Tracking Challengeデータセットにおいて高いトラッキング精度（TRA）を達成し、[0,1]の区間で正規化されたスコアで評価され、値が高いほどリンク能力が優れている。
• MAGIKは、FBM、ATMM、CTRWの複数のモデルにおいて、異常拡散指数（α）と拡散係数（D）を正確に推定でき、特に準拡散および超拡散領域でも良好な推定性能を示した。
• 蛍光顕微鏡およびホログラフィック顕微鏡のシミュレーションにおいて、変動する拡散係数、空間的に不均一なマップ、およびランダムな異常指数（0.2 ≤ α < 1.8）を含む状況でも、MAGIKは正確に軌道を再構築できた。
• 本フレームワークは、将来のフレームのノードへ2つ以上の出力エッジを持つ送信ノードを特定することで、細胞分裂イベントを検出する。分裂後はこれらのノードを独立した軌道として扱う。
• プランクトンのホログラフィック顕微鏡シミュレーションにおいて、MAGIKは屈折率が1.35〜1.55の範囲にある3〜7個の微生物を正確にトラッキングした。これは広範な生物学的種を反映している。
• FGNNブロックにおける注目メカニズムの使用により、モデルは関連する時空間的関係に注目でき、ノイズやオブジェクトの密集に対する耐性が向上した。