[논문 리뷰] Multi-Temporal Frames Projection for Dynamic Processes Fusion in Fluorescence Microscopy

Hassan Eshkiki, Sarah Costa외 4명|arXiv (Cornell University)|2026. 01. 15.

Cell Image Analysis Techniques인용 수 0

한 줄 요약

이 논문은 전처리와 z-projections를 사용하여 다중 시간 형광 현미경 프레임을 고품질의 2D 이미지로 융합하는 모듈형 프레임워크를 제시합니다. 심근 세포 데이터셋에서 111 구성으로 평가되었고, 이전 방법에 비해 평균 세포 수가 44% 증가했습니다.

ABSTRACT

Fluorescence microscopy is widely employed for the analysis of living biological samples; however, the utility of the resulting recordings is frequently constrained by noise, temporal variability, and inconsistent visualisation of signals that oscillate over time. We present a unique computational framework that integrates information from multiple time-resolved frames into a single high-quality image, while preserving the underlying biological content of the original video. We evaluate the proposed method through an extensive number of configurations (n = 111) and on a challenging dataset comprising dynamic, heterogeneous, and morphologically complex 2D monolayers of cardiac cells. Results show that our framework, which consists of a combination of explainable techniques from different computer vision application fields, is capable of generating composite images that preserve and enhance the quality and information of individual microscopy frames, yielding 44% average increase in cell count compared to previous methods. The proposed pipeline is applicable to other imaging domains that require the fusion of multi-temporal image stacks into high-quality 2D images, thereby facilitating annotation and downstream segmentation.

연구 동기 및 목표

• 형광 현미경 기록에서 노이즈, 시간적 변동성 및 일관되지 않은 가시성 문제를 다룬다.
• 생물학적 내용을 보존하면서 다운스트림 세그먼트를 가능하게 하는 전처리-투영 파이프라인을 개발한다.
• 추가 전처리 및 투영 기법으로 확장될 수 있는 모듈식 프레임워크를 만든다.
• Ca2+ 신호의 진동이 있는 동적 심근 세포 네트워크를 대상으로 이 접근법을 시연하여 정보량이 풍부한 2D 표현을 생성한다.

제안 방법

• 비디오에서 프레임을 분리하여 다중 시간 스택을 형성하고 세 단계 전처리 파이프라인(균등화, 픽셀 강도 재매핑, 노이즈 필터링)을 적용한다.
• 전처리된 프레임 스택을 여섯 가지 z-프로젝션 기법(MIP, AP, SP, PDP, SDP, QP)을 사용해 융합한다.
• 효과적인 조합을 식별하기 위해 광범위한 구성 세트(111 전처리 변형 × 6 투영 = 666 파이프라인)를 평가한다.
• 실제 정답 이미지가 없을 때 고품질 프로젝션을 선택하기 위해 NR-IQA 지표(NIQE, PIQE, BRISQUE)를 활용한다.
• 추가 전처리 방법 및 투영 연산자를 포함할 수 있는 모듈식 프레임워크를 제공한다.
• 비디오당 150 프레임인 91 CLSM HL-1 심근 세포 네트워크 비디오 데이터셋에서 결과를 보고한다.

Figure 1 : Systematic pipeline for multi-temporal frames fusion in (a) live-sample FM datasets via combined (b) image processing and (c) z-projection methods.

실험 결과

연구 질문

• RQ1 다중 시간 프레임 융합이 형광 현미경에서 이미지 품질을 향상시키고 시간 정보를 보존하는지?
• RQ2 전처리 단계와 z-프로젝션의 어떤 조합이 질적 및 NR-IQA 기반 품질 측면에서 최상인지?
• RQ3 투영 표현이 전통적인 프레임 기반 방법보다 다운스트림 주석 및 세그먼테이션을 더 잘 촉진하는지?
• RQ4 다중 시간 융합이 필요한 다른 이미징 도메인에 일반화될 수 있는지?
• RQ5 NR-IQA 지표가 현미경 이미지의 전문적 지각 품질과 얼마나 상관관계가 있는지?

주요 결과

• 프레임워크는 91 비디오에서 60,606 파이프라인 결과를 생성했고, SP 및 AP 프로젝션이 PIQE 및 BRISQUE에 대해 강한 NR-IQA 성능을 제공하는 것으로 확인됐다.
• MIP은 일반적으로 NR-IQA 지표에서 SP, AP, QP, SDP에 비해 품질 점수가 낮은 경향을 보였다.
• PDP 프로젝션은 아티팩트로 인해 사용할 수 없게 되어 추가 분석에서 제외되었다.
• 이 접근법은 HL-1 심근 세포 데이터세트에서 이전 방법에 비해 평균 44%의 세포 수 증가를 달성했다.
• NR-IQA 지표는 전처리–투영 조합에 따라 감도가 다르게 나타났으며, NIQE와 BRISQUE는 특정 파이프라인이 유발한 아티팩트와 더 상관관계가 있었고 PIQE는 흐림 및 세부 손실을 포착했다.
• 저자는 생물학자가 출력을 검사하고 주석을 달며 다운스트림 DL 기반 세그먼테이션으로 피드백할 수 있도록 완전히 모듈식이고 해석 가능한 파이프라인을 강조한다.

Figure 2 : Box plot of NR-IQR scores by projection method. Yellow-filled diamond-shaped dots within the boxes indicate mean values for each projection group.