[論文レビュー] Multi-task Learning for Macromolecule Classification, Segmentation and Coarse Structural Recovery in Cryo-Tomography

Chang Liu, Xiangrui Zeng+3 more|PubMed|May 16, 2018

Advanced Electron Microscopy Techniques and Applications参考文献 21被引用数 10

ひとこと要約

本稿では、マルチタスク学習を用いて、低温電子トモグラフィー（CECT）のサブトモグラムにおいて、マクロマolecule分類、意味セグメンテーション、粗い構造回復を統合的に実行する新規な3次元畳み込みニューラルネットワーク、DSM-Netを提案する。タスク間で特徴を共有することで、単一タスクベースラインに比べ分類およびセグメンテーションの精度が向上し、GroEL（PDB: 1KP8）のような新たな未観測マクロマolecule構造に対しても一般化を示した。構造回復のフォーリエシェル相関（FSC）スコアは5.0を達成した。

ABSTRACT

Cellular Electron Cryo-Tomography (CECT) is a powerful 3D imaging tool for studying the native structure and organization of macromolecules inside single cells. For systematic recognition and recovery of macromolecular structures captured by CECT, methods for several important tasks such as subtomogram classification and semantic segmentation have been developed. However, the recognition and recovery of macromolecular structures are still very difficult due to high molecular structural diversity, crowding molecular environment, and the imaging limitations of CECT. In this paper, we propose a novel multi-task 3D convolutional neural network model for simultaneous classification, segmentation, and coarse structural recovery of macromolecules of interest in subtomograms. In our model, the learned image features of one task are shared and thereby mutually reinforce the learning of other tasks. Evaluated on realistically simulated and experimental CECT data, our multi-task learning model outperformed all single-task learning methods for classification and segmentation. In addition, we demonstrate that our model can generalize to discover, segment and recover novel structures that do not exist in the training data.

研究の動機と目的

• 細胞内電子低温トモグラフィー（CECT）データにおける低SNR、欠損ウェッジ効果、構造的多様性の課題に対処すること。
• サブトモグラム解析に用いられるカスケード型単一タスク学習パイプラインの限界（計算コストの高さ、特徴の共有不足）を克服すること。
• サブトモグラムで同時に分類、セグメンテーション、粗い構造回復を実行する統合的ディープラーニングフレームワークの開発。
• 訓練データに存在しない新しいマクロマolecule構造に対するモデルの一般化能力の評価。
• 構造回復を教師あり画像再構成タスクとして再定式化し、セグメンテーションおよび分類のための特徴学習を強化すること。

提案手法

• 分類、セグメンテーション、構造回復の3つのタスクに特化した、共有バックボーンを有する3次元CNNであるDSM-Netを提案。
• 空間的詳細を保持し、マルチスケール特徴学習を可能にするスキップ接続を備えた共有エンコーダ・デコーダアーキテクチャを採用。
• インダクティブトランスファーによりセグメンテーションおよび分類の性能向上を図るため、構造回復を補助タスクとして統合。
• 分類には交差エントロピー、セグメンテーションにはバイナリ交差エントロピー、構造再構成には平均二乗誤差を組み合わせたマルチタスク損失関数を採用。
• 潜在特徴にT-SNEおよびk-meansクラスタリングを適用し、学習セットに含まれない構造の検出と可視化を実施。
• クラスタリングおよび未学習マクロマoleculeの発見のため、全結合層の1024次元出力を不変構造的埋め込みとして利用。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク3次元CNNフレームワークは、単一タスク学習に比べ、CECTサブトモグラムにおける分類およびセグメンテーション性能を統合的に向上させることができるか？
• RQ2 粗い構造回復を補助タスクとして組み込むことで、特徴共有によるインダクティブトランスファーにより、分類およびセグメンテーションの性能が向上するか？
• RQ3 本モデルは、学習データに存在しない構造（例：GroEL（PDB: 1KP8））を検出し、回復できるか？
• RQ4 多様ではあるが不完全なマクロマoleculeクラスのセットで学習した場合、モデルは新しい構造に対してどれほど一般化できるか？
• RQ5 共有バックボーンから学習された特徴は、潜在表現のクラスタリングによって、新しい構造クラスの発見にどの程度寄与するか？

主な発見

• DSM-Netは、シミュレート済みおよび実験的CECTデータセットの両方において、単一タスクモデルに比べ、分類およびセグメンテーションタスクで顕著に優れた性能を示した。
• 構造回復を補助タスクとして組み込むことで、インダクティブトランスファーおよび共有特徴学習により、セグメンテーションおよび分類の精度が向上した。
• 分類サブネットの潜在特徴のクラスタリングにより、学習データに存在しなかったGroEL構造（PDB: 1KP8）を効果的に発見した。
• T-SNE可視化により、GroELサブトモグラムが他の構造とは明確に分離され、密度の高いクラスタを形成しており、効果的な特徴学習が行われたことが確認された。
• GroELの回復構造はフォーリエシェル相関（FSC）スコア5.0を達成し、粗い再構成であるにもかかわらず、妥当な構造的忠実度を示した。
• モデルはノイズおよび欠損ウェッジ効果に対して頑健であり、テストデータにおけるさまざまなSNR条件下でも安定した性能を維持した。