[論文レビュー] Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation

Yinda Chen, Wei Huang+4 more|arXiv (Cornell University)|Aug 19, 2023

Advanced Electron Microscopy Techniques and ApplicationsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文は、ボクセルレベルの再構成、クロスアテンションベースの特徴マッチング、および特徴ピラミッド全体における対照学習を通じてマルチスケールの一貫性を強制する、電子線 microscopy におけるインスタンスセグメンテーションの自己教師付き事前学習フレームワークを提案する。4つの大規模なEMデータセットで強いおよび弱いオーグメンテーションを用いたシアンプソンネットワークを活用することで、特に限られた微調整データの下でも最先端の性能を達成し、10枚の画像でのニューロンセグメンテーションにおいてVOIを最大46.8%向上させた。

ABSTRACT

Instance segmentation in electron microscopy (EM) volumes is tough due to complex shapes and sparse annotations. Self-supervised learning helps but still struggles with intricate visual patterns in EM. To address this, we propose a pretraining framework that enhances multiscale consistency in EM volumes. Our approach leverages a Siamese network architecture, integrating both strong and weak data augmentations to effectively extract multiscale features. We uphold voxel-level coherence by reconstructing the original input data from these augmented instances. Furthermore, we incorporate cross-attention mechanisms to facilitate fine-grained feature alignment between these augmentations. Finally, we apply contrastive learning techniques across a feature pyramid, allowing us to distill distinctive representations spanning various scales. After pretraining on four large-scale EM datasets, our framework significantly improves downstream tasks like neuron and mitochondria segmentation, especially with limited finetuning data. It effectively captures voxel and feature consistency, showing promise for learning transferable representations for EM analysis.

研究の動機と目的

• 電子線 microscopy におけるインスタンスセグメンテーションの限られたアノテーションの課題に対処するため、自己教師付き事前学習フレームワークを開発すること。
• マルチスケール特徴学習を通じて、複雑な形態を有するEMボリュームに対する耐性を高めること。
• データオーグメンテーション間のボクセルレベルおよび特徴レベルの一貫性を強制することで、表現品質を向上させること。
• 特に低データ環境下で、微調整データを最小限に抑えて強力な下流パフォーマンスを達成できること。
• CNNおよびTransformerバックボーンの両方と互換性がある汎用的な事前学習手法を開発すること。

提案手法

• 弱いおよび強いオーグメンテーションを施したEMボリューム入力を処理するためのシアンプソンネットワークアーキテクチャを採用し、重みを共有することで一貫した特徴学習を保証する。
• 元の入力とオーグメンテーションからの再構成ボリューム間の一貫性を強制するために、ボクセルレベルの再構成損失を適用する。
• 弱いおよび強いオーグメンテーションから抽出された特徴間の細粒度の高い特徴マッチングを可能にするために、クロスアテンション機構を用いる。
• 階層的な対照学習方式を特徴ピラミッド全体に適用し、スケール不変表現を学習する。
• 一貫した比較を可能にするために、スケール間で特徴次元を16×16×16に標準化するためのアダプティブ平均プーリングを適用する。
• エンコーダー特徴に基づく退化解を避けるために、スキップ接続を含まないバックボーンネットワークを訓練する。

Fig. 1 : Our proposed method consists of two stages: pretraining and finetuning. (a) illustrates the framework of pretraining, which aims to add consistency constraints to both weak and strong augmented data. (b) describes the method to extract multiscale features. (c) outlines our instance segmenta

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習においてマルチスケールの一貫性を強制することで、電子線 microscopy におけるインスタンスセグメンテーションのパフォーマンスが向上するか？
• RQ2 ボクセルレベルの再構成、特徴マッチング、対照学習を組み合わせることで、EMボリュームにおける表現品質にどのような影響を与えるか？
• RQ3 提案手法が、下流のセグメンテーションタスクにおけるアノテーションデータへの依存度をどの程度低減できるか？
• RQ4 CNNとTransformerの両方のバックボーンアーキテクチャにおいて、このフレームワークはEMインスタンスセグメンテーションでどの程度の性能を発揮するか？
• RQ5 各コンポonent（再構成、クロスアテンション、対照学習）が全体のパフォーマンスに果たす寄与度はどの程度か？

主な発見

• CREMIデータセットからたった10枚の画像での微調整で、ニューロンセグメンテーションにおいてVOIが46.8%向上した。
• 75枚の微調整画像を用いた場合、ベースラインと比較してVOIが8.6%向上し、低データ一般化性能が顕著に優れていた。
• ミトコンドリアセグメンテーションでは、100枚の学習画像でのみ、小規模ミトコンドリアに対して35.7%のVOIを達成し、PCRLv2を2.8%上回った。
• アブレーションスタディの結果、再構成損失とクロスアテンション損失を組み合わせた場合、ベースライン比で最大49.1%のVOI向上が得られ、最も高い性能向上が確認された。
• データ量の1/4しか使用しなくても、フルデータセットでの微調整性能にほぼ達していたことから、データ効率の高さが顕著に示された。
• ViTおよびResNetバックボーンの両方で一貫した向上が確認され、広範なアーキテクチャ互換性を示した。

Fig. 2 : Visual comparisons for neuron segmentation, where colored boxes highlight the significant differences in the segmentation results.