[논문 리뷰] Geometric deep learning reveals the spatiotemporal fingerprint of microscopic motion

Jesús Pineda, Benjamin Midtvedt외 5명|arXiv (Cornell University)|2022. 02. 13.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 복잡한 생물학적 현미경 데이터에서 시공간 역학을 정확하게 추정하기 위해 주로 그래프 신경망과 주목성 메커니즘을 기반으로 한 기하학적 딥러닝 프레임워크인 MAGIK을 소개한다. 궤적을 기하학적 사전 지식을 갖춘 동적 그래프로 모델링함으로써, MAGIK는 단일 분자 운동과 플랑크톤 이동을 포함한 다양한 생물학적 상황에서 추적, 연결, 확산 성질 추론에 있어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The characterization of dynamical processes in living systems provides important clues for their mechanistic interpretation and link to biological functions. Thanks to recent advances in microscopy techniques, it is now possible to routinely record the motion of cells, organelles, and individual molecules at multiple spatiotemporal scales in physiological conditions. However, the automated analysis of dynamics occurring in crowded and complex environments still lags behind the acquisition of microscopic image sequences. Here, we present a framework based on geometric deep learning that achieves the accurate estimation of dynamical properties in various biologically-relevant scenarios. This deep-learning approach relies on a graph neural network enhanced by attention-based components. By processing object features with geometric priors, the network is capable of performing multiple tasks, from linking coordinates into trajectories to inferring local and global dynamic properties. We demonstrate the flexibility and reliability of this approach by applying it to real and simulated data corresponding to a broad range of biological experiments.

연구 동기 및 목표

• 혼잡하고 이질적인 생물학적 환경에서의 자동적이고 정확한 미세 운동 분석에 도전하는 것.
• 실제 및 시뮬레이션 현미경 데이터에서 궤적 연결, 동적 성질 추정, 사건 탐지 등의 다중 작업을 수행할 수 있는 통합된 딥러닝 프레임워크를 개발하는 것.
• 기존 추적 파이프라인에서 검출, 국소화, 연결, 추정 단계 간 오류가 누적되는 문제를 해결하는 것.
• 노이즈, 물체의 혼잡함, 복잡한 운동 패턴에 대한 강건성을 향상시키기 위해 기하학적 사전 지식과 주목성 메커니즘을 그래프 신경망에 통합하는 것.
• 수작업으로 만든 특징이나 운동 모델에 대한 가정에 의존하지 않고, 원시 영상 시퀀스로부터 시공간 역학을 엔드 투 엔드로 학습하는 것.

제안 방법

• 프레임워크는 정의된 거리 및 시간 창 내에서 연결된 검출 객체를 노드로 모델링하는 방향성 있는 시공간 그래프로 간주한다.
• 노드 특징은 중심좌표, 형태학적 및 강도 기술자 포함; 엣지 특징은 노드 쌍 간 유클리드 거리를 인코딩한다.
• 시스템 전체의 동적 행동을 캡처하기 위해 그래프에 학습 가능한 글로벌 토큰 U를 추가한다.
• 핵심 아키텍처는 메시지 전파를 통해 노드, 엣지, 글로벌 표현을 업데이트하는 다중 헤드 주목성 기반의 지문 기반 그래프 신경망(FGNN) 블록을 사용한다.
• 입력 특징을 잠재 표현으로 매핑하는 데 사용되는 학습 가능한 인코딩 함수 φv, φe, φu를 거친 후, φv', φe', φu'를 통한 디코딩을 통해 궤적과 동적 파rameter를 예측한다.
• 추적 및 동적 성질 추정을 위한 지도 학습 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련하며, 성능 평가에는 AOGM-A 지표를 사용한다.

실험 결과

연구 질문

• RQ1 기하학적 딥러닝 프레임워크는 최소한의 인간 간섭으로 복잡하고 혼잡한 생물학적 현미경 시퀀스에서 궤적을 정확히 재구성할 수 있는가?
• RQ2 주목성 메커니즘을 갖춘 그래프 신경망은 이미지 시퀀스에서 직접 국소 및 글로벌 동적 성질(예: 비정상적 확산 지수 및 확산도)을 얼마나 잘 추론할 수 있는가?
• RQ3 제안된 방법은 단일 분자 운동, 세포 이동, 플랑크톤 역학을 포함한 다양한 생물학적 상황에서 어떻게 성능을 발휘하는가?
• RQ4 모델은 시공간 그래프의 구조만으로 세포 분열이나 운동 패턴 변화와 같은 생물학적으로 의미 있는 사건을 탐지할 수 있는가?
• RQ5 기하학적 사전 지식과 학습 가능한 글로벌 토큰을 통합함으로써, 기존 추적 베이스라인 대비 일반화 능력과 강건성이 향상되는가?

주요 결과

• MAGIK는 6번째 세포 추적 챌린지 데이터셋에서 높은 추적 정확도(TRA)를 달성하였으며, 성능은 [0,1] 범위로 정규화되었고, 높은 값일수록 더 우수한 연결 능력을 의미한다.
• 모델은 FBM, ATTM, CTRW 등 여러 모델에서 비정상적 확산 지수(α)와 확산도(D)를 정확하게 추정하여, 부분 확산 및 초과 확산 영역에서도 정확한 추정을 이룬다.
• 형광 현미경 및 허모닉 현미경 시뮬레이션에서는 다양한 확산도를 갖는 궤적을 정확히 재구성하였으며, 공간적으로 비균일한 지도와 무작위 비정상적 지수(0.2 ≤ α < 1.8) 조건에서도 성능이 뛰어나다.
• 프레임워크는 한 번의 분열 후 독립적인 궤적으로 간주되는, 미래 프레임의 노드로 두 개 이상의 아웃going 엣지를 가진 송신자 노드를 식별함으로써 세포 분열 사건을 탐지한다.
• 플랑크톤의 허모닉 현미경 시뮬레이션에서는 굴절률이 1.35–1.55 사이인 3~7개의 미세생물을 정확히 추적하였다. 이는 광범위한 생물 종을 반영한다.
• FGNN 블록에 통합된 주목성 메커니즘은 관련 있는 시공간 관계에 집중함으로써, 노이즈 및 물체 혼잡함에 대한 강건성을 향상시킨다.