[논문 리뷰] Temporal Segmentation of Surgical Sub-tasks through Deep Learning with Multiple Data Sources

Yidan Qin, Sahba Aghajani Pedram외 5명|arXiv (Cornell University)|2020. 02. 07.

Surgical Simulation and Training참고 문헌 33인용 수 9

한 줄 요약

이 논문은 로봇 보조 수술에서 실시간으로 정밀한 수술 상태 추정을 가능하게 하는 딥러닝 모델인 Fusion-KVE를 제안한다. 운동학적 데이터, 시각적 데이터, 시스템 이벤트 데이터를 통합함으로써, 복잡한 데이터셋에서 89.4%의 프레임 단위 정확도를 달성하며, 이는 이전의 방법들을 능가하며 짧은 지속시간과 빈번한 전이를 보이는 상태에 대해서도 강건함을 입증한다.

ABSTRACT

Many tasks in robot-assisted surgeries (RAS) can be represented by finite-state machines (FSMs), where each state represents either an action (such as picking up a needle) or an observation (such as bleeding). A crucial step towards the automation of such surgical tasks is the temporal perception of the current surgical scene, which requires a real-time estimation of the states in the FSMs. The objective of this work is to estimate the current state of the surgical task based on the actions performed or events occurred as the task progresses. We propose Fusion-KVE, a unified surgical state estimation model that incorporates multiple data sources including the Kinematics, Vision, and system Events. Additionally, we examine the strengths and weaknesses of different state estimation models in segmenting states with different representative features or levels of granularity. We evaluate our model on the JHU-ISI Gesture and Skill Assessment Working Set (JIGSAWS), as well as a more complex dataset involving robotic intra-operative ultrasound (RIOUS) imaging, created using the da Vinci Xi surgical system. Our model achieves a superior frame-wise state estimation accuracy up to 89.4%, which improves the state-of-the-art surgical state estimation models in both JIGSAWS suturing dataset and our RIOUS dataset.

연구 동기 및 목표

• 로봇 보조 수술(RAS)에서 다중모달 데이터를 활용하여 실시간으로 정밀한 수술 하위 작업의 시간적 분할을 가능하게 하기.
• 단일 모odal 모델로는 포착하기 어려운 짧은 지속시간과 빈번한 전이를 보이는 수술 상태를 정확히 추정하는 데 도전하기.
• 운동학, 시각, 시스템 이벤트를 통합하여 상태 추정의 강건성을 향상시킬 수 있는 통합 프레임워크 개발하기.
• 표준(JIGSAWS) 및 복잡한 실제와 유사한(RIOUS) 수술 데이터셋에서 모델을 평가하여 일반화 능력을 입증하기.
• 특히 시스템 이벤트가 빠른 전이 기간 동안 추정의 변동성을 줄이는 데 기여하는 다양한 데이터 모달의 상호보완적 강점을 탐구하기.

제안 방법

• 제안된 Fusion-KVE 모델은 로봇 운동학, 내 endoscopic 영상, da Vinci® Xi 수술 시스템의 시스템 이벤트라는 세 가지 데이터 소스를 융합한다.
• 시각적 특징은 공간적 CNN를 통해 추출되며, 시간적 모델링을 위해 시간적 컨volution 네트워크(TCN)를 거친다.
• 운동학 기반 상태 추정은 TCN과 양방향 LSTM 아키텍처를 모두 사용하여 다양한 지속시간에 맞는 시간적 의존성을 모델링한다.
• 시스템 이벤트는 환경 노이즈에 대한 강건성 향상과 빠른 상태 전이 기간 동안의 예측 변동 감소를 위해 별도의 모달리티로 통합된다.
• 학습된 어텐션 유사 가중치 요소를 사용하여 개별 모델의 예측을 가중합산하는 융합 메커니즘이 도입되어 각 상태에 맞는 신뢰도 높은 입력을 우선순위로 정한다.
• 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 실시간 적용 가능성을 확보하기 위해 현재 및 과거 데이터만을 사용하는 인과 추론 설정에서 평가된다.

실험 결과

연구 질문

• RQ1 운동학, 시각, 시스템 이벤트와 같은 다중 데이터 소스를 융합함으로써 단일 모달 모델 대비 정밀한 수술 상태 추정 정확도가 어떻게 향상되는가?
• RQ2 빠른 전이나 짧은 지속시간 상태 전이 기간 동안 시스템 이벤트가 추정 오차를 줄이는 데 기여하는 상대적 기여도는 어떠한가?
• RQ3 다양한 지속시간을 가지는 수술 작업에서 시간적 모델링 아키텍처(예: TCN 대비 LSTM)의 성능은 어떻게 다른가?
• RQ4 통합된 융합 모델이 JIGSAWS와 같은 표준 데이터셋을 초월하여 실제와 유사한 복잡한 수술 환경에 얼마나 잘 일반화되는가?
• RQ5 융합 모델의 가중치 요소 행렬이 모달리티 신뢰도와 작업별 특성 중요도에 대한 통찰을 제공할 수 있는가?

주요 결과

• Fusion-KVE는 RIOUS 데이터셋에서 89.4%의 프레임 단위 상태 추정 정확도를 달성하며, 이는 이전 최고 수준의 모델들을 크게 능가한다.
• Fusion-KV 대비 Fusion-KVE에 시스템 이벤트가 포함됨으로써, 특히 빠른 전이 및 짧은 지속시간 상태에서 추정 오차가 감소한다.
• 모델은 환경 노이즈와 카메라 이동에 강건하며, 단일 모달 모델보다 예측의 변동성이 적다.
• 가중치 요소 행렬은 TCN이 짧은 지속시간 상태에서 더 우수한 성능를 보이며, LSTM은 긴 지속시간 상태에서 뛰어난 성능를 보임을 시사하여, 모델의 적응형 융합 전략이 타당함을 입증한다.
• RIOUS 데이터셋은 행동이 없는 상태를 포함한 드라이랩, 시체, 실시간 수술 시험을 포함하여 JIGSAWS보다 더 높은 복잡성을 지닌다. 그러나 Fusion-KVE는 높은 정확도를 유지한다.
• 인과 설정에서 현재 및 과거 데이터만을 사용함에도 불구하고 융합 모델은 뛰어난 성능를 유지하여 임상 적용에 대한 실시간 가능성 확인함.