[논문 리뷰] Multi-Task Recurrent Convolutional Network with Correlation Loss for Surgical Video Analysis

Yueming Jin, Huaxia Li외 5명|arXiv (Cornell University)|2019. 07. 13.

Surgical Simulation and Training참고 문헌 51인용 수 8

한 줄 요약

이 논문은 MTRCNet-CL을 제안하며, 영상에서 수술 기구를 동시에 탐지하고 수술 단계를 인식하기 위해 새로운 상관 손실을 갖춘 다중 작업 순환 합성곱 신경망을 개발한다. 초기 특징을 공유하고 학습된 상관 손실을 통해 예측 일致성을 강제함으로써, 두 작업을 동시에 향상시키며 Cholec80 데이터셋에서 도구 탐지의 mAP 89.1%와 단계 인식의 F1 스코어 87.4%를 기록하여 최신 기술 수준을 달성한다.

ABSTRACT

Surgical tool presence detection and surgical phase recognition are two fundamental yet challenging tasks in surgical video analysis and also very essential components in various applications in modern operating rooms. While these two analysis tasks are highly correlated in clinical practice as the surgical process is well-defined, most previous methods tackled them separately, without making full use of their relatedness. In this paper, we present a novel method by developing a multi-task recurrent convolutional network with correlation loss (MTRCNet-CL) to exploit their relatedness to simultaneously boost the performance of both tasks. Specifically, our proposed MTRCNet-CL model has an end-to-end architecture with two branches, which share earlier feature encoders to extract general visual features while holding respective higher layers targeting for specific tasks. Given that temporal information is crucial for phase recognition, long-short term memory (LSTM) is explored to model the sequential dependencies in the phase recognition branch. More importantly, a novel and effective correlation loss is designed to model the relatedness between tool presence and phase identification of each video frame, by minimizing the divergence of predictions from the two branches. Mutually leveraging both low-level feature sharing and high-level prediction correlating, our MTRCNet-CL method can encourage the interactions between the two tasks to a large extent, and hence can bring about benefits to each other. Extensive experiments on a large surgical video dataset (Cholec80) demonstrate outstanding performance of our proposed method, consistently exceeding the state-of-the-art methods by a large margin (e.g., 89.1% v.s. 81.0% for the mAP in tool presence detection and 87.4% v.s. 84.5% for F1 score in phase recognition). The code can be found on our project website.

연구 동기 및 목표

• 복잡한 시각적 변형과 가림 현상으로 인해 수술 영상 분석 성능이 낮은 문제를 해결한다.
• 수술 기구 사용과 단계 진행 사이의 강한 임상적 상관관계를 활용하여 두 작업을 동시에 향상시킨다.
• 도구 존재 탐지와 수술 단계 인식을 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.
• 두 작업 예측 간 일致성을 강제하기 위해 상관 손실을 도입하여 상호 보완적 감독을 향상시킨다.
• 후처리 기반이 아닌 상태의 최신 성능을 달성하여 임상 환경에서 실시간 구현이 가능하도록 한다.

제안 방법

• 도구 탐지와 단계 인식을 위한 작업별 고차원 레이어를 갖춘 공유된 초기 합성곱 레이어를 가진 다중 작업 네트워크를 설계한다.
• 영상 프레임 간 시간적 의존성을 모델링하기 위해 단계 인식 브랜치에 장기 단기 기억(LSTM) 유닛을 통합한다.
• 프레임 수준에서 두 작업의 예측 간 산란을 최소화하기 위해 학습 가능한 매핑 행렬을 갖춘 상관 손실을 제안한다.
• 상관 손실이 작업 간 예측 일치를 장려함으로써 연합 감독 하에 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 계산 효율성과 더 빠른 추론을 위해 아키텍처를 단순화하여 실시간 처리가 가능하게 한다(단일 GPU에서 프레임당 약 0.3초).
• 도구 존재와 수술 단계에 대한 조밀한 앵커파일을 제공하는 Cholec80 데이터셋을 훈련 및 평가에 활용한다.

실험 결과

연구 질문

• RQ1 도구 탐지와 단계 인식의 공동 학습이 독립적 모델링을 초월해 성능 향상을 이끌 수 있는가?
• RQ2 학습 가능한 상관 손실이 두 개의 밀접하게 관련된 수술 작업 예측 간 일치성을 강제하는 데 얼마나 효과적인가?
• RQ3 특징 공유와 예측 상관관계가 도전적인 시각 조건 하에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 후처리나 추가 데이터 증강 없이도 제안된 방법이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 유사한 작업 상관관계를 가진 다른 수술 영상 유형으로도 이 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 MTRCNet-CL은 수술 기구 존재 탐지에서 mAP 89.1%를 달성하여 이전 최신 기술 수준인 81.0%를 크게 능가한다.
• 수술 단계 인식에서는 F1 스코어 87.4%를 기록하여 이전 최신 기술 수준인 84.5%를 초월한다.
• 후처리 없이도 높은 성능를 달성하여 상관 손실을 활용한 엔드 투 엔드 훈련의 효과를 입증한다.
• 상관 손실은 공유 감독를 통해 두 작업 간 상호 작용을 장려함으로써 일반화 능력을 향상시킨다.
• 단일 GPU에서 프레임당 약 0.3초의 속도로 영상을 처리하여 수술실 응용 분야에서 실시간 배포가 가능하다.
• 기존 지식 추론(PKI) 적용 시에도 성능이 유지되어 정밀도 91.6%, 재현율 90.1%, 정확도 93.3%를 기록하며 이전 결과를 초월한다.