[논문 리뷰] Visualization and Correction of Automated Segmentation, Tracking and Lineaging from 5-D Stem Cell Image Sequences

Eric Wait, Mark Winter외 6명|arXiv (Cornell University)|2014. 07. 08.

Cell Image Analysis Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 실시간 3D 스테레오 시각화와 2D 계통수 표시를 결합한 GPU 가속, 상호작용 가능한 시각화 및 보정 시스템을 제안한다. 이는 자동화된 5차원(x, y, z, t, 채널) 줄기세포 영상 분석을 위한 것으로, 생물학자들이 분할, 추적, 계통수 오류를 상호작용적으로 보정할 수 있도록 한다. 사용자 편집을 바탕으로 CPU 기반 추론 엔진이 보정을 추론하고 전파함으로써 최소한의 수작업으로도 검증 시 100% 정확도를 달성한다.

ABSTRACT

Results: We present an application that enables the quantitative analysis of multichannel 5-D (x, y, z, t, channel) and large montage confocal fluorescence microscopy images. The image sequences show stem cells together with blood vessels, enabling quantification of the dynamic behaviors of stem cells in relation to their vascular niche, with applications in developmental and cancer biology. Our application automatically segments, tracks, and lineages the image sequence data and then allows the user to view and edit the results of automated algorithms in a stereoscopic 3-D window while simultaneously viewing the stem cell lineage tree in a 2-D window. Using the GPU to store and render the image sequence data enables a hybrid computational approach. An inference-based approach utilizing user-provided edits to automatically correct related mistakes executes interactively on the system CPU while the GPU handles 3-D visualization tasks. Conclusions: By exploiting commodity computer gaming hardware, we have developed an application that can be run in the laboratory to facilitate rapid iteration through biological experiments. There is a pressing need for visualization and analysis tools for 5-D live cell image data. We combine accurate unsupervised processes with an intuitive visualization of the results. Our validation interface allows for each data set to be corrected to 100% accuracy, ensuring that downstream data analysis is accurate and verifiable. Our tool is the first to combine all of these aspects, leveraging the synergies obtained by utilizing validation information from stereo visualization to improve the low level image processing tasks.

연구 동기 및 목표

• 발달생물학 및 종양생물학 분야에서 대규모 5차원 생세포 영상 데이터의 정확하고 상호작용 가능한 분석에 대한 핵심적 필요성을 해결하기 위해.
• 생물학자들이 실시간으로 자동화된 분할, 추적, 계통수 결과를 시각적으로 검토하고 보정할 수 있도록 시스템을 개발하기 위해.
• 사용자가 제공한 편집을 추론 엔진에 통합하여 데이터셋 전반에 걸쳐 관련 오류를 자동으로 보정하기 위해.
• 공용 게이밍 하드웨어(GPU/CPU)를 활용해 효율적인 3D 렌더링과 실시간 보정을 구현함으로써 실험 워크플로우에서의 빠른 반복을 가능하게 하기 위해.

제안 방법

• 시스템은 저지연, 고정밀도 3D 스테레오 시각화를 위해 GPU 메모리를 사용하여 5차원 영상 시퀀스를 저장하고 렌더링한다.
• 이중 창 인터페이스는 스테레오 3D 창에서 3D 영상 데이터를, 2D 창에서 해당 계통수를 동시에 표시하여 검토를 가능하게 한다.
• 세포 분할 또는 계통수 관계에 대한 사용자 편집은 캡처되어 CPU 기반 추론 엔진에 입력되며, 이는 관련 세포와 시간대에 보정을 전파한다.
• 추론 엔진은 맥락 기반 규칙와 시공간 일관성을 사용하여 관련 오류를 자동으로 보정함으로써 수작업 보정 부담을 감소시킨다.
• 비지도 자동 처리와 상호작용 검토를 결합하여, 스테레오 시각화를 통해 저수준 영상 처리 정확도를 향상시킨다.
• 시스템 아키텍처는 공용 하드웨어에서 실시간 성능을 확보하도록 설계되어, 실시간 실험 환경에서의 사용이 가능하다.

실험 결과

연구 질문

• RQ1 자동화된 5차원 줄기세포 영상 분석을 어떻게 상호작용적이고 사용자 중심으로 개선하여 고정확도를 달성할 수 있는가?
• RQ2 생물학자들이 복잡한 세포 역학을 검토하기 위해 3D 시각화와 계통수 표현을 어떻게 가장 효과적으로 통합할 수 있는가?
• RQ3 사용자가 제공한 편집을 어떻게 활용하여 전체 데이터셋에 걸쳐 보정을 추론하고 전파하여 수작업 부담을 줄일 수 있는가?
• RQ4 GPU와 CPU 자원을 어떻게 효과적으로 분할하여 실시간 3D 렌더링과 상호작용 보정을 동시에 구현할 수 있는가?
• RQ5 상호작용 검토는 자동 분할, 추적, 계통수 추적의 정확도를 5차원 영상 시퀀스에서 얼마나 향상시킬 수 있는가?

주요 결과

• 하이브리드 GPU/CPU 아키텍처를 사용하여 시스템은 자동 분할, 추적, 계통수 결과의 실시간 상호작용 보정을 가능하게 한다.
• 스테레오 3D 시각화와 2D 계통수 인터페이스의 통합은 사용자 오류 식별 및 보정의 정확도와 효율성을 크게 향상시킨다.
• 사용자가 제공한 편집은 추론 엔진을 통해 관련 오류를 자동으로 보정하여 반복적인 수작업 보정의 필요성을 최소화한다.
• 사용자 보정 후 검증에서 시스템은 100% 정확도를 달성하여 후속 데이터 분석의 검증 가능성과 신뢰성을 보장한다.
• 공용 게이밍 하드웨어를 활용함으로써 도구는 표준 실험실 환경에서 구현 가능하며, 빠른 실험 반복을 지원한다.
• 상호작용 검토와 자동 처리의 상호보완적 상호작용은 완전히 자동화된 방법보다 더 고품질의 계통수 데이터를 생성한다.