[논문 리뷰] Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer

Puxun Tu, Hongfei Ye외 7명|arXiv (Cornell University)|2023. 09. 11.

Intraocular Surgery and LensesMedicine인용 수 3

한 줄 요약

이 논문은 미세수술 영상에서 수술 단계를 실시간으로 인식하기 위해 장단기 시공간 집약 트랜스포머(LS-SAT)를 사용하는 단계별 보조현실(AR) 가이던스 시스템을 제안한다. 망막주변부 영역에 초점을 맞춘 공간적 특징과 다중 척도 시간 모델링을 결합함으로써, 영역별 가이던스 및 회전 정렬과 같은 맞춤형 AR 시각적 신호를 제공하여, 프레임 단위 처리 방법 대비 정확도와 실시간 성능 향상을 이룬다. 임상 검증을 통해 단계 인식과 AR 신호 정렬에서 높은 신뢰성을 입증하였다.

ABSTRACT

Phacoemulsification cataract surgery (PCS) is a routine procedure conducted using a surgical microscope, heavily reliant on the skill of the ophthalmologist. While existing PCS guidance systems extract valuable information from surgical microscopic videos to enhance intraoperative proficiency, they suffer from non-phasespecific guidance, leading to redundant visual information. In this study, our major contribution is the development of a novel phase-specific augmented reality (AR) guidance system, which offers tailored AR information corresponding to the recognized surgical phase. Leveraging the inherent quasi-standardized nature of PCS procedures, we propose a two-stage surgical microscopic video recognition network. In the first stage, we implement a multi-task learning structure to segment the surgical limbus region and extract limbus region-focused spatial feature for each frame. In the second stage, we propose the long-short spatiotemporal aggregation transformer (LS-SAT) network to model local fine-grained and global temporal relationships, and combine the extracted spatial features to recognize the current surgical phase. Additionally, we collaborate closely with ophthalmologists to design AR visual cues by utilizing techniques such as limbus ellipse fitting and regional restricted normal cross-correlation rotation computation. We evaluated the network on publicly available and in-house datasets, with comparison results demonstrating its superior performance compared to related works. Ablation results further validated the effectiveness of the limbus region-focused spatial feature extractor and the combination of temporal features. Furthermore, the developed system was evaluated in a clinical setup, with results indicating remarkable accuracy and real-time performance. underscoring its potential for clinical applications.

연구 동기 및 목표

• 초음파 절단 수술(PCS)에서 단계별로 구분된 내시경 수술 중 AR 가이던스의 부재로 인한 시각적 중복과 인지적 과부하 문제를 해결하기 위해.
• 미세수술 영상에서 공간적 및 시간적 특징을 동시에 활용하여 정확도를 향상시킬 수 있는 실시간 수술 단계 인식 시스템을 개발하기 위해.
• 망막주변부 타원형 피팅 및 회전 계산과 같은 맥락에 맞는 AR 시각적 신호를 설계하여 각 수술 단계에 적합하게 만들기 위해.
• 실제 수술 조건에서의 안정성과 실시간 성능을 확보하기 위해 임상 환경에서 시스템을 검증하기 위해.
• 프레임 단위 처리의 한계를 극복하기 위해 장기 및 단기 시간적 의존성을 통합하여 전환기에서의 안정적인 단계 인식을 가능하게 하기 위해.

제안 방법

• 두 단계로 구성된 수술 영상 인식 네트워크를 제안한다: 첫 번째 단계에서는 다중 작업 학습 구조를 통해 각 프레임에서 망막주변부 영역을 분할하고, 망막주변부 중심의 공간적 특징을 추출한다.
• 두 번째 단계에서는 장단기 시공간 집약 트랜스포머(LS-SAT)가 공간적 특징과 함께 단기 및 장기 시간적 특징을 융합하여 세밀한 국소적 및 전반적 시간적 관계를 모델링한다.
• LS-SAT 네트워크는 이중 분지 어텐션 메커니즘을 사용하여 프레임 간의 국소적 운동 패tern과 장거리 절차적 맥락을 동시에 포착한다.
• 인식된 수술 단계에 맞게 망막주변부 타원형 피팅 및 지역 제한된 정규화 상관관계를 활용한 회전 계산을 통해 AR 시각적 신호를 생성한다.
• 시스템은 실시간으로 수술 단계 인식과 AR 신호 생성을 통합하여 외부 디스플레이에서 30 fps를 유지함으로써 안정적인 시각화를 구현한다.
• 임상 평가는 내부 및 공개 데이터셋을 사용하여 수행되었으며, 아블레이션 연구를 통해 망막주변부 중심 특징 추출기와 시간적 특징 융합의 기여도를 검증하였다.

실험 결과

연구 질문

• RQ1 단계별 AR 가이던스 시스템은 망막주변부 수술 중 시각적 중복을 줄이고 수술 집중도를 향상시킬 수 있는가?
• RQ2 장단기 시공간 집약 트랜스포머(LS-SAT)는 프레임 단위 또는 단기 시간적 방법에 비해 실시간으로 수술 단계를 얼마나 효과적으로 인식할 수 있는가?
• RQ3 망막주변부 영역 감시를 통합함으로써 공간적 특징 품질과 단계 인식 정확도는 얼마나 향상되는가?
• RQ4 실제 수술 환경에서 제안된 AR 가이던스 시스템의 임상적 타당성과 실시간 성능은 어떠한가?
• RQ5 망막주변부 잘못 분할 및 단계 잘못 인식은 AR 신호 정렬에 어떤 영향을 미치며, 이러한 실패는 얼마나 자주 발생하는가?

주요 결과

• LS-SAT 네트워크는 프레임 단위 및 단기 시간 집약 방법에 비해 단계 전환기 동안 더 부드럽고 정확한 수술 단계 인식을 달성하였다.
• 어려운 프레임 처리 상황에서 기존의 장거리 시간적 네트워크보다 뛰어난 강건성을 보이며 절차 전환기 동안의 성능이 향상되었다.
• 아블레이션 연구를 통해 망막주변부 영역 중심 특징 추출기와 단기 및 장기 시간적 특징 융합이 인식 정확도 향상에 크게 기여하는 것으로 확인되었다.
• 임상 검증 결과, 시스템은 일관된 30 fps 시각화 속도를 유지하여 수술 중 실시간 활용에 적합한 성능을 입증하였다.
• AR 실패 씬은 드물게 발생했으며 주로 운동 왜곡, 변형 또는 기구 간섭 상황에서 망막주변부 잘못 분할로 인해 발생했고, 각 단계에서 성공한 씬이 대부분을 차지하였다.
• 시스템은 높은 임상 신뢰성을 보였으며, 잘못된 인식이나 분할이 수술 워크플로우에 큰 영향을 주지 않았다. 이는 주로 기구 사용이 없는 상황에서 발생했기 때문이다.