[論文レビュー] Cryo-CARE: Content-Aware Image Restoration for Cryo-Transmission Electron Microscopy Data

Tim-Oliver Buchholz, Mareike A. Jordan+2 more|arXiv (Cornell University)|Oct 12, 2018

Advanced Electron Microscopy Techniques and Applications被引用数 6

ひとこと要約

Cryo-CAREは、高SNRの教師データを必要とせず、ノイズが多い登録済み画像ペアのみを用いて、内容に応じた深層学習手法により、低温透過電子顕微鏡（cryo-TEM）データのノイズ除去を実現する。2次元投影像および3次元トモグラムにおけるコントラストの顕著な向上を可能とし、手動での検査および自動化された下流解析（密なセグメンテーションを含む）を改善する。

ABSTRACT

Multiple approaches to use deep learning for image restoration have recently been proposed. Training such approaches requires well registered pairs of high and low quality images. While this is easily achievable for many imaging modalities, e.g. fluorescence light microscopy, for others it is not. Cryo-transmission electron microscopy (cryo-TEM) could profoundly benefit from improved denoising methods, unfortunately it is one of the latter. Here we show how recent advances in network training for image restoration tasks, i.e. denoising, can be applied to cryo-TEM data. We describe our proposed method and show how it can be applied to single cryo-TEM projections and whole cryo-tomographic image volumes. Our proposed restoration method dramatically increases contrast in cryo-TEM images, which improves the interpretability of the acquired data. Furthermore we show that automated downstream processing on restored image data, demonstrated on a dense segmentation task, leads to improved results.

研究の動機と目的

• 標準的な画像修復ネットワークの学習を妨げるcryo-TEMにおける高SNR教師データの欠如に対処する。
• 実世界の画像ノイズ除去から得られるノイズ不変の学習フレームワークを活用し、内容に応じた画像修復を可能にする。
• 人為的アノテーションが不要な教師データを用い、画像の解釈可能性を向上させ、自動化された解析を支援する手法を開発する。
• 単一の投影像および完全なトモグラフィックボリュームの両方において、Cryo-CAREの有効性を示す。
• 修復されたデータが、セグメンテーションや再構築などの下流タスクにおいて測定可能な改善をもたらすことを示す。

提案手法

• 高SNR教師データを必要とせず、登録済みの低SNR画像ペアのみを用いて、U-Netベースのノイズ除去ネットワークを学習することで、CAREフレームワークをcryo-TEMに適応する。
• Noise2Noiseの原則を用い、独立したノイズ実現を持つノイズだらけの画像ペアを用いて学習することで、内容に応じた修復を実現する。
• 3つのデータ環境で学習する：P2P-ip（取得済み画像ペア）、P2P-tap（トモグラフィーからの傾き角ペア）、T2T（線量分離されたムービーフレーム）。
• 2つの入力ペアからの復元出力をピixe単位で平均化することで、再構成の忠実度を向上させる。
• カーネルサイズ3、2つのエンコーダ/デコーダブロック、最終層に線形活性化関数を用いたU-Netアーキテクチャを採用する。
• 平均二乗誤差損失関数を用い、抽出されたパッチの10%を検証に使用し、オープンソースのCAREフレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 高SNR教師画像が存在しないにもかかわらず、内容に応じた画像修復がcryo-TEMデータに効果的に適用可能か？
• RQ2 線量分離されたムービーまたは傾き系列から得た登録済みノイズ画像ペアを用いた学習は、メディアンフィルターやNADなどの単純なベースラインと比較して優れたノイズ除去性能を示すか？
• RQ3 Cryo-CAREによる修復により、欠損ウェッジアーチファクトが減少し、3次元トモグラフィック再構築の品質が向上するか？
• RQ4 Cryo-CAREによる画像修復は、セグメンテーションなどの自動化された下流タスクにおいて測定可能な改善をもたらすか？
• RQ5 Cryo-CAREは、人為的アノテーションのラベルが一切不要な、顕微鏡で取得されたデータのみで学習可能か？

主な発見

• Cryo-CAREは、cryo-TEMの2次元投影像および3次元トモグラムにおいてコントラストと分解能を顕著に向上させ、視覚的解釈性を向上させる。
• P2P-tapおよびT2Tの学習方式は、定性的および定量的評価の両方で、メディアンフィルターやNADなどの単純なベースラインを上回る性能を示す。
• 線量分離されたムービーフレームを用いたT2T学習は、P2Pベースのアプローチと比較して、トモグラフィック再構築における欠損ウェッジアーチファクトを低減する。
• フォーリエシェル相関（FSC）解析により、特にT2T線量分離再構築において、分解能と信号対ノイズ比の向上が確認された。
• Cryo-CAREで修復されたトモグラムに自動セグメンテーションワークフローを適用した結果、元のデータと比較して正確性（precision）と再現率（recall）が顕著に向上した。
• 本手法により、画像修復と下流解析の分離が効果的に実現され、エンドツーエンドパイプラインにおける大規模なラベル付きデータセットの必要性が低減された。