[논문 리뷰] Single- and Multi-Task Architecture for Surgical Workflow at M2CAI 2016

Andru Putra Twinanda, Didier Mutter외 3명|arXiv (Cornell University)|2016. 10. 27.

Surgical Simulation and Training인용 수 3

한 줄 요약

이 논문은 림프절 절제술 영상에서 시간적 모델링을 위해 LSTM와 HMM를 사용하여 단일 및 다중 작업 딥러닝 아키텍처를 제안한다. LSTM 기반 접근 방식은 시간적 제약 조건을 더 잘 이행하여 M2CAI 2016 수술 워크플로우 챌린지 데이터셋에서 뛰어난 인식 정확도를 달성한다.

ABSTRACT

The surgical workflow challenge at M2CAI 2016 consists of identifying 8 surgical phases in cholecystectomy procedures. Here, we propose to use deep architectures that are based on our previous work where we presented several architectures to perform multiple recognition tasks on laparoscopic videos. In this technical report, we present the phase recognition results using two architectures: (1) a single-task architecture designed to perform solely the surgical phase recognition task and (2) a multi-task architecture designed to perform jointly phase recognition and tool presence detection. On top of these architectures we propose to use two different approaches to enforce the temporal constraints of the surgical workflow: (1) HMM-based and (2) LSTM-based pipelines. The results show that the LSTM-based approach is able to outperform the HMM-based approach and also to properly enforce the temporal constraints into the recognition process.

연구 동기 및 목표

• 딥러닝을 사용하여 담낭절제술 절차에서 8개의 수술 단계를 인식하는 데 도전하는 것.
• 단계 인식과 도구 존재 감지의 공동 학습이 성능을 향상시키는지 조사하는 것.
• 시퀀스 모델링 기법을 사용하여 수술 단계 인식의 시간적 일관성을 강화하는 것.
• HMM 기반 및 LSTM 기반 파ip라인의 시간적 제약 조건 이행 효과를 비교하는 것.

제안 방법

• 수술 단계 인식에만 집중하는 단일 작업 아키텍처를 제안한다.
• 단계 인식과 도구 존재 감지를 동시에 수행하는 다중 작업 아키텍처를 도입한다.
• 수술 워크플로우의 시간적 의존성을 모델링하기 위해 HMM 기반 파이프라인을 사용한다.
• 비디오 시퀀스의 장거리 시간적 동역학을 포착하기 위해 LSTM 기반 파이프라인을 사용한다.
• HMM 및 LSTM 파이프라인을 딥 네트워크 특징 위에 적용하여 시간적 모델링을 수행한다.
• 복강경 담낭절제술 영상가 포함된 M2CAI 2016 수술 워크플로우 데이터셋에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 다중 작업 아키텍처가 단일 작업 학습에 비해 수술 단계 인식 성능을 향상시키는가?
• RQ2 단계 인식과 도구 존재 감지의 공동 학습이 시간 모델링을 향상시킬 수 있는가?
• RQ3 LSTM 기반 시간 모델링 파이프라인이 HMM 기반 파이프라인보다 수술 단계 인식에서 뛰어난가?
• RQ4 HMM 및 LSTM 파이프라인은 수술 워크플로우에서 시간적 제약 조건을 얼마나 효과적으로 이행하는가?
• RQ5 시간 모델링은 복강경 영상 분석에서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• LSTM 기반 접근 방식이 HMM 기반 접근 방식보다 수술 단계 인식에서 뛰어나다.
• LSTM 파이프라인이 수술 워크플로우 인식 과정에서 시간적 제약 조건을 효과적으로 이행한다.
• 단계 인식과 도구 존재 감지의 공동 학습을 수행하는 다중 작업 아키텍처가 성능 향상을 보였다.
• 단일 작업 아키텍처는 강력한 성능를 보였지만, 다중 작업 버전은 더 높은 인식 정확도를 달성했다.
• LSTM 기반 시간 모델링을 통한 처리는 영상 시퀀스 전반에 걸쳐 보다 일관되고 정확한 단계 예측을 이끌어냈다.
• 결과는 LSTM 기반 시간 모델링을 갖춘 딥러닝이 수술 워크플로우 분석에 효과적임을 보여준다.