[논문 리뷰] Multitask Learning of Temporal Connectionism in Convolutional Networks using a Joint Distribution Loss Function to Simultaneously Identify Tools and Phase in Surgical Videos

Shanka Subhra Mondal, Rachana Sathish외 1명|arXiv (Cornell University)|2019. 05. 20.

Surgical Simulation and Training참고 문헌 23인용 수 13

한 줄 요약

이 논문은 ResNet-50 백본과 양방향 LSTM를 사용한 다중 작업 딥러닝 프레임워크를 제안하며, 수술 기구와 수술 단계를 병렬로 탐지하기 위해 새로운 가중치가 부여된 공동 분포 손실 함수를 도입한다. 제안된 방법은 Cholec80 데이터셋에서 도구 탐지에 대해 최신 기술 수준의 mAP 0.99와 단계 탐지에 대해 mAP 0.857을 달성하며, 도구-단계 공존 패턴의 공동 모델링과 양방향 시간적 모델링을 통해 이전의 접근 방식을 뛰어넘는 성능을 보인다.

ABSTRACT

Surgical workflow analysis is of importance for understanding onset and persistence of surgical phases and individual tool usage across surgery and in each phase. It is beneficial for clinical quality control and to hospital administrators for understanding surgery planning. Video acquired during surgery typically can be leveraged for this task. Currently, a combination of convolutional neural network (CNN) and recurrent neural networks (RNN) are popularly used for video analysis in general, not only being restricted to surgical videos. In this paper, we propose a multi-task learning framework using CNN followed by a bi-directional long short term memory (Bi-LSTM) to learn to encapsulate both forward and backward temporal dependencies. Further, the joint distribution indicating set of tools associated with a phase is used as an additional loss during learning to correct for their co-occurrence in any predictions. Experimental evaluation is performed using the Cholec80 dataset. We report a mean average precision (mAP) score of 0.99 and 0.86 for tool and phase identification respectively which are higher compared to prior-art in the field.

연구 동기 및 목표

• 내시경 영상에서 수술 기구와 단계를 동시에 탐지할 수 있는 통합 딥러닝 프레임워크를 개발한다.
• 공동 분포 손실 함수를 통해 도구와 수술 단계 간의 공존 의존성을 모델링하여 탐지 성능을 향상시킨다.
• 양방향 LSTM를 사용해 수술 워크플로우의 장기적 시간적 의존성을 포착함으로써 전방 및 후방 컨텍스트를 모두 고려한다.
• 데이터 증강 없이도 불균형하고 변동성이 있는 수술 영상 데이터에 대해 강건한 성능을 달성한다.
• 워크플로우 분석, 품질 관리, 수술 진행 상황 모니터링 등의 임상 적용을 가능하게 한다.

제안 방법

• 개별 영상 프레임에서 고수준 시각적 특징을 추출하기 위해 ResNet-50 컨볼루션 신경망을 사용한다.
• 특징들은 양방향 LSTM에 입력되어 프레임 간 과거 및 미래 시간적 의존성을 모델링한다.
• 각 수술 단계와 연관된 도구 세트의 확률을 인코딩하기 위해 새로운 가중치가 부여된 공동 분포 손실 함수를 도입한다.
• 공유된 시각적 특징과 공동 손실을 사용하여 도구 탐지와 단계 분류를 함께 최적화하는 다중 작업 학습 프레임워크를 구축한다.
• Bi-LSTM 학습 이전에 CNN 특징에 대해 특징 화이트닝과 전체 영상 배치 스택을 적용하여 수렴성과 성능을 향상시킨다.
• 단계 예측에 대해 중앙값 필터링을 적용하여 급격한 전이를 줄이고 mAP 및 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 정확도 향상으로 인해 수술 영상에서 도구 및 단계 탐지를 효과적으로 병렬 수행할 수 있는가?
• RQ2 도구-단계 공존 패턴을 모델링하는 공동 분포 손실 함수를 통합할 경우 탐지 성능에 어떤 영향을 미치는가?
• RQ3 단방향 또는 비순환 모델 대비 양방향 LSTM를 사용한 시간적 컨텍스트 모델링이 단계 탐지 성능에 얼마나 기여하는가?
• RQ4 데이터 증강 없이도 변동 길이의 수술 단계와 불균형한 도구-단계 분포에 대해 모델이 잘 일반화되는가?
• RQ5 공유된 특징과 공동 손실을 갖는 다중 작업 프레임워크가 별도 학습보다 더 나은 수렴성과 강건성을 제공하는가?

주요 결과

• 제안된 방법은 도구 탐지에 대해 평균 평균 정밀도(mAP) 0.99를 달성하여 분야 내 모든 이전 연구를 능가한다.
• 단계 탐지에 대해 모델은 mAP 0.857을 달성하였으며, 대부분의 이전 방법보다 높고 최신 기술 수준과 유사한 성능이다.
• Cholec80 데이터셋의 클래스 불균형에 대해 강건성을 보이며, 데이터 증강 없이도 높은 성능을 달성한다.
• 양방향 LSTM, 전체 영상 배치 스택, 특징 화이트닝을 사용함으로써 수렴성과 성능이 크게 향상된다.
• 단계 예측에 중앙값 필터링을 적용함으로써 급격한 전이를 완화하고 mAP 및 정확도에 측정 가능한 향상이 이루어진다.
• 다양한 단계 지속 시간과 시각적 변형에 대해 모델이 잘 일반화됨을 보이며, 강력한 시간적 및 외관 일반화 능력을 갖춘다.