[논문 리뷰] Temporal Memory Relation Network for Workflow Recognition from Surgical Video

Yueming Jin, Yonghao Long외 4명|arXiv (Cornell University)|2021. 03. 30.

Surgical Simulation and Training참고 문헌 40인용 수 4

한 줄 요약

이 논문은 비현장 메모리와 다중 척도 시간 컨볼루션을 비국소 백업 연산자로 통합함으로써 수술 워크플로우 인식을 향상시키는 엔드 투 엔드 딥 러닝 모델인 시간 메모리 관계 네트워크(TMRNet)를 제안한다. 이 방법은 Cholec80 데이터셋에서 78.9%의 Jaccard 점수를 기록하여 이전의 접근 방식보다 뚜렷하게 뛰어난 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Automatic surgical workflow recognition is a key component for developing context-aware computer-assisted systems in the operating theatre. Previous works either jointly modeled the spatial features with short fixed-range temporal information, or separately learned visual and long temporal cues. In this paper, we propose a novel end-to-end temporal memory relation network (TMRNet) for relating long-range and multi-scale temporal patterns to augment the present features. We establish a long-range memory bank to serve as a memory cell storing the rich supportive information. Through our designed temporal variation layer, the supportive cues are further enhanced by multi-scale temporal-only convolutions. To effectively incorporate the two types of cues without disturbing the joint learning of spatio-temporal features, we introduce a non-local bank operator to attentively relate the past to the present. In this regard, our TMRNet enables the current feature to view the long-range temporal dependency, as well as tolerate complex temporal extents. We have extensively validated our approach on two benchmark surgical video datasets, M2CAI challenge dataset and Cholec80 dataset. Experimental results demonstrate the outstanding performance of our method, consistently exceeding the state-of-the-art methods by a large margin (e.g., 67.0% v.s. 78.9% Jaccard on Cholec80 dataset).

연구 동기 및 목표

• 긴 지속 시간 영상에서 복잡하고 변동성이 큰 시간 역동성을 가지는 수술 워크플로우 인식의 과제를 해결하기 위해.
• 공동 시공간 특징 학습을 방해하지 않으면서 장기적 시간적 의존성과 다중 척도 운동 패턴을 통합하기 위해.
• 수술실에서 임상적 도입을 위해 효율적이고 실시간 처리가 가능한 모델을 개발하기 위해.
• 다양한 지속 시간과 운동 패턴을 가지는 다양한 수술 단계에서 정확한 인식을 가능하게 하기 위해.
• 수술 외에도 다른 의료 순차 데이터 작업에 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 전체 수술 영상에서 사전에 장기적 기억 백업을 계산하고 오프라인으로 저장하여 지속적인 시간적 단서의 원천으로 활용한다.
• 시간 변동성 레이어는 기억 백업에서 추출된 특징을 향상시키기 위해 다중 척도 시간 컨볼루션을 적용하여 다양한 운동 지속 시간을 캡처한다.
• 비국소 백업 연산자는 현재 프레임 특징과 기억 백업 특징 간의 주의 가중치를 계산하여 장기적 맥락 모델링을 가능하게 한다.
• 비국소 연산은 본딩 네트워크에 통합되어 종료 투 종료 시공간 학습을 방해하지 않으면서 관련된 장기적 단서에 주의를 기울인다.
• 기본 모델은 추론 중에 최신 프레임 특징을 추가함으로써 온라인으로 기억 백업을 업데이트하여 최소한의 지연으로 실시간 작동이 가능하다.
• 모델은 후처리 없이 엔드 투 엔드로 훈련되어 단일 GPU에서 프레임당 약 0.08초의 실시간 추론 속도를 보장한다.

실험 결과

연구 질문

• RQ1 장기적 시간 메모리는 수술 영상 워크플로우에서 높은 내부 단계 변동성을 가지는 경우 정확도 향상에 기여하는가?
• RQ2 다중 척도 시간 모델링은 수술 단계에서 지속 시간이 다양한 동작을 어떻게 향상시키는가?
• RQ3 비국소 주의 메커니즘이 시공간 표현 학습을 떨어뜨리지 않고도 현재 특징을 먼 과거 단서와 효과적으로 연결할 수 있는가?
• RQ4 수술 워크플로우 인식에 가장 적합한 시간 맥락 길이는 무엇이며, 특정 길이를 초과하면 성능이 포화 상태에 도달하는가?
• RQ5 제안된 방법은 장기적 시간 모델링이 필요한 다른 의료 영상 분석 작업으로 일반화될 수 있는가?

주요 결과

• TMRNet는 Cholec80 데이터셋에서 78.9%의 Jaccard 점수를 기록하여 이전 최신 기술 성능(SOTA) 방법(67.0%)을 뚜렷이 뛰어넘었다.
• 후처리와 결합했을 때 Cholec80에서 정밀도 92.1%, 재현율 91.1%, 정확도 93.7%를 달성하여 개선된 SOTA 결과(91.6%, 90.1%, 93.3%)를 초월했다.
• 약 30초의 맥락에서 성능가 포화 상태에 도달하며, 연기된 입력은smoke, 혈액, 렌즈 청소 등의 아티팩트에서 유래한 노이즈를 유발하여 약간의 성능 저하를 초래한다.
• 모델은 높은 추론 속도(~프레임당 0.08초)를 유지하여 임상 환경에서 실시간 배포가 가능하다.
• 장기적 기억 백업은 한 번만 사전 계산되어 재사용되며, 훈련 중 중복 계산을 방지한다.
• 모델은 다른 수술 절차로 잘 일반화되며, 현미경 추적 및 초음파 분석과 같은 비수술 의료 영상 작업으로도 확장 가능하다.