[논문 리뷰] Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays

Long Qian, Mathias Unberath외 5명|arXiv (Cornell University)|2017. 10. 02.

Surgical Simulation and Training인용 수 11

한 줄 요약

이 논문은 X선 유도 수술에서 사용하기 위한 실시간 가상 모니터 시스템을 제시한다. 이 시스템은 고해상도 의료 영상을 광학 투과형 헤드셋 디스플레이(OST-HMD)로 스트리밍하여 머리, 세계 또는 신체 기반 혼합현실 시각화를 가능하게 한다. 시스템은 평균 종단 간 지연 214±30 ms와 리프레시 주기 41.4±32.0 Hz를 달성하여 X선 유도 수술에서의 사전 임상 평가에 적합함을 입증한다.

ABSTRACT

Purpose: Image guidance is crucial for the success of many interventions. Images are displayed on designated monitors that cannot be positioned optimally due to sterility and spatial constraints. This indirect visualization causes potential occlusion, hinders hand-eye coordination, leads to increased procedure duration and surgeon load. Methods: We propose a virtual monitor system that displays medical images in a mixed reality visualization using optical see-through head-mounted displays. The system streams high-resolution medical images from any modality to the head-mounted display in real-time that are blended with the surgical site. It allows for mixed reality visualization of images in head-, world-, or body-anchored mode and can thus be adapted to specific procedural needs. Results: For typical image sizes, the proposed system exhibits an average end-to-end delay and refresh rate of 214 +- 30 ms and 41:4 +- 32:0 Hz, respectively. Conclusions: The proposed virtual monitor system is capable of real-time mixed reality visualization of medical images. In future, we seek to conduct first pre-clinical studies to quantitatively assess the impact of the system on standard image guided procedures.

연구 동기 및 목표

• 무균성 및 공간 제약으로 인해 기존 모니터가 자주 적절히 위치되지 못하는 문제를 해결하기 위해.
• 혼합현실을 통해 의료 영상을 직접 시각화함으로써 외과의사의 작업 부담을 줄이고 손-눈 조율을 향상시키기 위해.
• 다양한 의료 영상 모odalities에서 유입되는 고해상도 영상을 실시간으로 광학 투과형 HMD로 스트리밍하는 시스템을 개발하기 위해.
• 다양한 영상 크기에서 종단 간 지연, 프레임 레이트 안정성, 렲레터링 리프레시 주기 측면에서 시스템 성능을 평가하기 위해.
• 미래의 사전 임상 연구를 통해 시스템이 수술 워크플로우 및 절차 효율성에 미치는 영향을 평가하기 위해.

제안 방법

• 시스템은 Fluoroscopy, C-arm CBCT, 초음파, CT, MRI와 같은 의료 영상 모달리티의 비디오 출력을 프레임 그랩퍼를 통해 캡처한다.
• 전용 이미지 처리 유닛이 들어오는 영상 스트림의 실시간 스케일링 및 압축을 수행하여 HMD 렲레터링 최적화를 수행한다.
• 의료 영상은 네트워크를 통해 Microsoft HoloLens OST-HMD로 전송되며, 공간 추적 기술을 사용해 실제 수술 현장에 영상을 오버랩한다.
• 시스템은 세 가지 표시 모드를 지원한다: 머리 기반(사용자 머리에 대해 고정), 세계 기반(방에 대해 고정), 신체 기반(환자의 해부학적 구조에 고정).
• 이미지 려파지닝은 HMD의 리프레시 주기와 동기화되며, 실시간 성능을 위해 텍스처 로딩 최적화가 이루어진다.
• 성능 평가는 종단 간 지연, 프레임 수신 레이트, 다양한 영상 크기(620×480에서 1920×1080 픽셀까지의 RGB24)에서의 레이터링 리프레시 주기 측정을 통해 평가된다.

실험 결과

연구 질문

• RQ1 광학 투과형 HMD로 고해상도 의료 영상의 실시간 스트리밍이 이미지 유도 수술에서 임상적 사용에 적합한 지연과 프레임 레이트를 달성할 수 있는가?
• RQ2 종단 간 지연과 리프레시 주기 측면에서 시스템 성능이 다양한 영상 크기와 모달리티에서 어떻게 변화하는가?
• RQ3 영상 스트리밍 파이프라인의 주요 성능 저하 요인은 무엇이며, 이를 고립하고 정량화할 수 있는가?
• RQ4 시스템은 기존 모니터보다 손-눈 조율 향상에 기여하는 안정적인 직접 시각화를 제공하는가?
• RQ5 시스템은 X선 유도 수술의 사전 임상 연구에 적합한가?

주요 결과

• 시스템은 평균 종단 간 지연 214±30 ms를 달성하였으며, 지연의 주요 원인은 프레임 그랩퍼와 이미지 처리 유닛으로, 각각 평균 약 100 ms의 지연 기여를 하였다.
• 일반적인 영상 크기에서 평균 리프레시 주기는 41.4±32.0 Hz이며, RGB24 기준 1000×1000 픽셀 이하의 영상에서는 30 Hz 이상의 효과적 프레임 레이트를 확보하였다.
• 1920×1080 해상도에서는 리프레시 주기가 16.4±6.5 Hz를 유지하며, 텍스처 로딩 지연이 61.3±81.7 ms로 나타나 레이터링이 주요 성능 저하 요인임을 시사하였다.
• 프레임 수신 레이트는 영상 크기에 따라 크게 변동하며, 620×480 영상의 경우 표준편차가 최대 44.6 Hz에 이를 정도로 데이터 도착이 일관되지 않으며, 프레임 뭉치 현상이 발생할 수 있음을 시사하였다.
• 모든 세 가지 모드(머리 기반, 세계 기반, 신체 기반)에서 안정적인 혼합현실 시각화가 가능하여 절차 요구에 맞는 탄력적 적응이 가능하였다.
• 결과적으로 시스템은 일반적으로 7.5–30 Hz에서 운영되는 X선 유도 수술에서의 사전 임상 평가에 적합함을 시사하였으며, 현재의 프레임 레이트 일관성 저하에도 불구하고.