[논문 리뷰] DeepPhase: Surgical Phase Recognition in CATARACTS Videos

Odysseas Zisimopoulos, Evangello Flouty외 5명|arXiv (Cornell University)|2018. 07. 17.

Surgical Simulation and Training인용 수 11

한 줄 요약

이 논문은 ResNet을 사용한 도구 탐지와 RNN(LSTM/GRU)를 활용한 시간적 단계 전이 모델링을 통해 캐타라кт 수술 영상에서 자동 수술 단계 인식을 위한 딥러닝 프레임워크인 DeepPhase를 제안한다. 도구 특징을 사용할 경우 단계 인식 정확도가 78.28%에 도달하여 최신 기술 수준의 성능을 보이며, 강력한 시간적 모델링과 높은 도구 탐지 AUC(97.69%)를 확보한다.

ABSTRACT

Automated surgical workflow analysis and understanding can assist surgeons to standardize procedures and enhance post-surgical assessment and indexing, as well as, interventional monitoring. Computer-assisted interventional (CAI) systems based on video can perform workflow estimation through surgical instruments' recognition while linking them to an ontology of procedural phases. In this work, we adopt a deep learning paradigm to detect surgical instruments in cataract surgery videos which in turn feed a surgical phase inference recurrent network that encodes temporal aspects of phase steps within the phase classification. Our models present comparable to state-of-the-art results for surgical tool detection and phase recognition with accuracies of 99 and 78% respectively.

연구 동기 및 목표

• 수술 중 의사 결정 지원 및 수술 후 분석을 지원하기 위해 캐타라크트 수술 영상에서 자동 수술 단계 인식 시스템을 개발하는 것.
• 도구 탐지와 순환 신경망을 통합하여 수술 워크플로우의 시간적 모델링 과제를 해결하는 것.
• ResNet에서 유도한 깊이 특징과 LSTM 및 GRU 아키텍처를 통한 시퀀스 모델링을 활용해 단계 인식 정확도를 향상시키는 것.
• 미리 보지 않은 영상에서의 일반화 성능을 평가하고, 클래스 불균형 및 단계 전이 노이즈에 대한 견고성을 분석하는 것.
• 임상 및 교육 현장에 적용 가능한 확장성 있고 종단 간(end-to-end) 솔루션을 제공하는 것.

제안 방법

• 수술 도구 탐지를 위해 영상 프레임에서 깊이 특징을 추출하기 위해 잔차 신경망(ResNet)을 사용하며, 도구가 망막에 접촉할 경우 도구 존재를 주석 처리한다.
• 도구 특징의 시퀀스를 처리하여 수술 단계를 추론하기 위해 LSTM 또는 GRU 유닛을 갖춘 순환 신경망(RNN)을 사용하며, 프레임 간 시간적 의존성을 모델링한다.
• 연속적인 시간 분류를 가능하게 하기 위해 약 33초 분량의 100프레임 시퀀스를 슬라이딩 윈도우 방식으로 처리한다.
• 이진 존재 벡터와 ResNet에서 유도한 깊이 특징 임베딩을 RNN의 입력으로 사용하며, 후자의 경우 LSTM 모델에서 성능 향상이 뚜렷하다.
• 학습은 고정된 학습률 0.001과 모멘터움 파rameter β₁=0.9 및 β₂=0.999를 사용한 Adam 옵timizer를 통해 4에포크 동안 수행된다.
• 수술 단계 주석은 전문 임상의가 작성하였으며, 캐타라크트 수술에서 14개의 구체적인 단계를 정의하였으며, 캡술로렉시스, 파코에밀루시피케이션, IOL 삽입 등 핵심 단계 포함.

실험 결과

연구 질문

• RQ1 비디오와 도구 존재 주석만을 사용하여 딥러닝 모델이 높은 정확도로 수술 단계 인식을 달성할 수 있는가?
• RQ2 ResNet에서 유도한 깊이 특징 표현이 이진 도구 존재 정보보다 단계 인식 성능 향상에 얼마나 기여하는가?
• RQ3 LSTM 및 GRU 아키텍처가 훈련 예제가 적은 단계들에 대해 얼마나 잘 일반화되는가?
• RQ4 모델은 미리 보지 않은 테스트 영상에서 어떻게 성능을 내며, 클래스 불균형이나 단계 전이 노이즈와 같은 요소들이 일반화에 어떤 영향을 미치는가?
• RQ5 RNN을 통한 시간적 모델링이 캐타라크트 수술의 수술 워크플로우의 순차적 성격을 효과적으로 포착할 수 있는가?

주요 결과

• LSTM 모델은 깊이 특징을 사용할 경우 검증 세트에서 78.28%의 정확도를 기록하며, 이는 이진 입력 및 다른 설정보다 뛰어난 성능을 보였다.
• GRU 모델은 이진 입력을 사용할 경우 훈련 세트에서 89.98%의 정확도를 기록했지만, 테스트 세트에서는 성능이 71.61%로 떨어져 과적합 또는 입력 유형에 대한 민감도를 보였다.
• 깊이 특징을 사용한 LSTM 모델은 검증 세트에서 92.05%의 정확도, 테스트 세트에서 78.28%의 정확도를 기록하여 강력한 일반화 능력과 견고성을 입증했다.
• 모델 성능은 특히 ICL(비산성 주입) 및 ICL(렌즈 제거)와 같이 두 개의 영상에만 등장하는 희귀 단계로 인해 클래스 불균형으로 인해 크게 영향을 받았다.
• 도구가 없거나 단계 전이 시기에는 잘못된 예측이 빈번히 발생하여 시간 경계 탐지에 대한 과제가 뚜렷하게 드러났다.
• CATARACTS 테스트 세트에서 도구 탐지 AUC는 97.69%에 도달하여 수술 영역 내 기구 존재를 높은 신뢰도로 식별할 수 있음을 시사했다.