[논문 리뷰] Spatio-temporal Vision Transformer for Super-resolution Microscopy

Charles N. Christensen, Meng Lü외 3명|arXiv (Cornell University)|2022. 02. 28.

Advanced Fluorescence Microscopy Techniques인용 수 6

한 줄 요약

이 논문은 동적 생세포 SIM 데이터를 광학 흐름에 의존하지 않고 재구성하기 위해 3D 이동 윈도우 다중 헤드 어텐션과 채널 어텐션을 사용하는 시공간 비전 트랜스포머인 VSR-SIM을 제안한다. 이 방법은 롤링 SIM 영상 촬영을 가능하게 하여 기존 방법 대비 9배 높은 시간 해상도를 달성하면서도 초해상도 해상도를 유지하고 고도로 동적인 샘플에서 운동 아티팩트를 감소시킨다.

ABSTRACT

Structured illumination microscopy (SIM) is an optical super-resolution technique that enables live-cell imaging beyond the diffraction limit. Reconstruction of SIM data is prone to artefacts, which becomes problematic when imaging highly dynamic samples because previous methods rely on the assumption that samples are static. We propose a new transformer-based reconstruction method, VSR-SIM, that uses shifted 3-dimensional window multi-head attention in addition to channel attention mechanism to tackle the problem of video super-resolution (VSR) in SIM. The attention mechanisms are found to capture motion in sequences without the need for common motion estimation techniques such as optical flow. We take an approach to training the network that relies solely on simulated data using videos of natural scenery with a model for SIM image formation. We demonstrate a use case enabled by VSR-SIM referred to as rolling SIM imaging, which increases temporal resolution in SIM by a factor of 9. Our method can be applied to any SIM setup enabling precise recordings of dynamic processes in biomedical research with high temporal resolution.

연구 동기 및 목표

• 표준 방법이 정적인 것으로 가정하는 동적 샘플로 인한 SIM 재구성에서의 운동 아티팩트 문제를 해결하기 위해.
• 광학 흐름을 사용하지 않고 시간적 상관관계를 활용하는 SIM를 위한 영상 초해상도(VSR) 방법을 개발하기 위해.
• 롤링 윈도우 재구성 방식을 사용하여 SIM에서 고시간 해상도 영상 촬영을 가능하게 하기 위해.
• 실제 진짜 지표 없이 유체 모델을 기반으로 한 시뮬레이션 데이터만으로 훈련된 딥러닝 모델을 개발하기 위해.
• 엔도플라스미크 막대와 같은 생물학적으로 관련성이 있는 고도로 동적인 세포 구조물, 예를 들어 내세포망의 동역학을 효과적으로 재현하기 위해.

제안 방법

• 이 방법은 SIM 데이터의 영상 시퀀스 전반의 시공간적 의존성을 캡처하기 위해 3D 이동 윈도우를 사용하는 3D 비전 트랜스포머를 사용한다.
• 3D 특징 맵에서 특징 중요도와 장거리 상관관계를 모델링하기 위해 채널 어텐션과 다중 헤드 자기어텐션 메커니즘을 통합한다.
• 훈련 데이터는 영상 시퀀스에 적용된 SIM 이미지 형성의 물리적 모델을 사용하여 시뮬레이션되며, 운동 인식 감독을 가능하게 한다.
• 실제 진짜 지표 없이 시뮬레이션된 데이터에서 엔드 투 엔드로 훈련되어 레이블에 운동 블러가 발생하지 않도록 한다.
• 롤링 SIM을 지원하기 위해 훈련 중 입력 시퀀스 순서를 무작위로 섞어 모델이 순서에 관계없이 불변성을 가지도록 한다.
• 훈련 안정성과 특징 학습 향상을 위해 트랜스포머 블록 간에 잔차 연결을 사용한다.

실험 결과

연구 질문

• RQ1 광학 흐름 추정에 의존하지 않고 트랜스포머 기반 아키텍처가 SIM 데이터에서 효과적으로 운동 보정을 학습할 수 있는가?
• RQ2 시뮬레이션된 영상 시퀀스로 훈련된 모델이 고시간 해상도를 확보하면서도 동적 생세포 구조를 효과적으로 재구성할 수 있는가?
• RQ3 제안된 방법이 롤링 SIM 영상 촬영을 통해 시간 해상도를 9배 높일 수 있는가, 이로 인해 공간 해상도를 희생시키지 않는가?
• RQ4 조명 패턴이 운동 신호를 가리키는 경우조차도 어텐션 메커니즘이 단독으로 운동을 효과적으로 포착할 수 있는가?
• RQ5 복잡하고 빠른 동역학을 보이는 실제 생물학적 샘플, 예를 들어 내세포망 재구성에서 모델의 성능은 어떠한가?

주요 결과

• 25ms 프레임 지연 조건에서 Reds 영상 데이터셋에서 VSR-SIM은 ML-SIM보다 PSNR가 1dB 향상되어 운동에 대한 강건성이 뛰어나다는 것을 보여준다.
• 공간적 간격이 증가하는 시뮬레이션된 구슬 시퀀스에서도 성능 유지로 효과적인 운동 처리 능력을 보여준다.
• VSR-SIM을 사용한 롤링 SIM은 20프레임 시퀀스에서 19개의 재구성 출력을 생성하여 기존 SIM 대비 시간 해상도를 9배 향상시킨다.
• 내세포망 영상에서 VSR-SIM은 12프레임에 걸쳐 관찰되는 고립된 재구성 다이내믹스(관통의 연장, 회수, 접합 형성)를 드러내며, 반면 FairSIM은 단지 두 번의 급격한 출력만을 보여준다.
• FairSIM보다 더 높은 공간 해상도를 확보하고 있음에도 불구하고, VSR-SIM은 더 적은 아티팩트를 생성하고 고속 세포 동역학의 연속적 관찰을 가능하게 한다.
• 모델는 유일하게 시뮬레이션된 데이터로 훈련되기 때문에 다양한 조명 패턴과 시스템 구성에 적응 가능한 임의의 SIM 설정에 일반화 가능하다.