[論文レビュー] Spatio-temporal Vision Transformer for Super-resolution Microscopy

Charles N. Christensen, Meng Lü+3 more|arXiv (Cornell University)|Feb 28, 2022

Advanced Fluorescence Microscopy Techniques被引用数 6

ひとこと要約

本稿では、動的ライブセルSIMデータを光学フローに依存せずに再構成するための、3次元シフトドウインドウ多頭部自己注意とチャネル注意を用いた空間的・時間的Vision Transformer、VSR-SIMを提案する。この手法によりローリングSIMイメージングが可能となり、従来手法と比較して9倍高い時間分解能を達成しながら、回折限界を下回る分解能を維持し、高動的サンプルにおける動きアーチファクトを低減する。

ABSTRACT

Structured illumination microscopy (SIM) is an optical super-resolution technique that enables live-cell imaging beyond the diffraction limit. Reconstruction of SIM data is prone to artefacts, which becomes problematic when imaging highly dynamic samples because previous methods rely on the assumption that samples are static. We propose a new transformer-based reconstruction method, VSR-SIM, that uses shifted 3-dimensional window multi-head attention in addition to channel attention mechanism to tackle the problem of video super-resolution (VSR) in SIM. The attention mechanisms are found to capture motion in sequences without the need for common motion estimation techniques such as optical flow. We take an approach to training the network that relies solely on simulated data using videos of natural scenery with a model for SIM image formation. We demonstrate a use case enabled by VSR-SIM referred to as rolling SIM imaging, which increases temporal resolution in SIM by a factor of 9. Our method can be applied to any SIM setup enabling precise recordings of dynamic processes in biomedical research with high temporal resolution.

研究の動機と目的

• 動的サンプルによるSIM再構成における動きアーチファクトを解消すること。標準的手法では静的を仮定しているため。
• 光学フローを用いずに時間相関を活用するSIM用の動画スーパーレゾリューション（VSR）手法を開発すること。
• ローリングウインドウ再構成方式を用いて、SIMにおける高時間分解能イメージングを可能にすること。
• 現実的な動きと照明パターンを再現するシミュレーテッドデータのみでトレーニングされた深層学習モデルを構築すること。
• エンドプラズミック網のような生物学的に関連性のある、高動的セル構造における本手法の有効性を示すこと。

提案手法

• 本手法は、3次元シフトドウインドウを用いた3次元ビジョントランスフォーマーを採用し、SIMデータの動画シーケンス全体における空間的・時間的依存関係を捉える。
• チャネル注意と多頭部自己注意メカニズムを統合し、3次元特徴マップにおける特徴の重要度と長距離相関をモデル化する。
• トレーニングデータは、ビデオシーケンスに適用したSIM画像形成の物理モデルを用いて合成され、動きに配慮した監視が可能になる。
• 本モデルは、実際の真値データが存在しないシミュレーテッドデータ上でエンドツーエンドにトレーニングされ、ラベル内の動きぼけを回避する。
• ローリングSIMをサポートするため、トレーニング中に照明パターンの順序をシャッフルすることで、モデルが入力シーケンス順序に依存しないようにする。
• トランスフォーマーブロック間には残差接続を用い、トレーニングの安定化と特徴学習の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 光学フロー推定に依存せずに、トランスフォーマー基盤のアーキテクチャがSIMデータにおける動き補償を効果的に学習できるか？
• RQ2 シミュレーテッドビデオシーケンスでトレーニングされたモデルが、高時間分解能で動的ライブセル構造を再構成できるか？
• RQ3 提案手法により、空間分解能を損なわず、ローリングSIMイメージングで時間分解能を9倍に向上できるか？
• RQ4 照明パターンが動きの手がかりを遮る状況下でも、自己注意メカニズムのみで十分に動きを捉えることができるか？
• RQ5 エンドプラズミック網の再構築のような、複雑で高速な動的を示す生物学的サンプルにおいて、本モデルはどの程度の性能を示すか？

主な発見

• 25 msのフレーム遅延という高動的条件下で、RedsビデオデータセットにおいてVSR-SIMはML-SIMよりもPSNRで1 dBの向上を示し、動きに対するロバストネスが優れていることが判明した。
• 空間的分離が増加しても、ビーズのシミュレートシーケンスにおいて性能を維持していることから、効果的な動き処理が可能であると示された。
• VSR-SIMを用いたローリングSIMにより、20フレームのシーケンスから19の再構成出力を得ることができ、従来のSIMと比較して時間分解能が9倍向上した。
• エンドプラズミック網のイメージングでは、VSR-SIMは12フレームにわたり、チューブの延長・収縮・接合形成といったグレイン状の再構築ダイナミクスを明らかにした。これに対してFairSIMは2つの急激な出力しか示さなかった。
• FairSIMは空間分解能が高かったが、VSR-SIMはアーチファクトが少なく、高速セルダイナミクスの連続観察が可能であった。
• 本手法は、合成データにのみトレーニングされているため、任意のSIM設定に一般化可能である。異なる照明パターンやシステム設定に適応可能な合成データを用いることで、この適応性が達成されている。