[논문 리뷰] LoViT: Long Video Transformer for Surgical Phase Recognition

Yang Liu, Maxence Boels외 5명|arXiv (Cornell University)|2023. 05. 15.

Surgical Simulation and Training인용 수 6

한 줄 요약

LoViT는 수술 단계 인식을 위한 이중 단계 Transformer 기반 방법을 제안하며, 연속된 L-Trans 및 ProbSparse 자기주의 모듈을 사용하여 국소적이고 전역적인 시간적 특징을 융합함으로써 Cholec80 (+2.4 pp) 및 AutoLaparo (+3.1 pp)에서 최신 기술 수준의 성능을 달성한다. 이는 단계 전이 인식 감독 및 영상 클립 수준의 훈련을 통해 달성된다.

ABSTRACT

Online surgical phase recognition plays a significant role towards building contextual tools that could quantify performance and oversee the execution of surgical workflows. Current approaches are limited since they train spatial feature extractors using frame-level supervision that could lead to incorrect predictions due to similar frames appearing at different phases, and poorly fuse local and global features due to computational constraints which can affect the analysis of long videos commonly encountered in surgical interventions. In this paper, we present a two-stage method, called Long Video Transformer (LoViT) for fusing short- and long-term temporal information that combines a temporally-rich spatial feature extractor and a multi-scale temporal aggregator consisting of two cascaded L-Trans modules based on self-attention, followed by a G-Informer module based on ProbSparse self-attention for processing global temporal information. The multi-scale temporal head then combines local and global features and classifies surgical phases using phase transition-aware supervision. Our approach outperforms state-of-the-art methods on the Cholec80 and AutoLaparo datasets consistently. Compared to Trans-SVNet, LoViT achieves a 2.4 pp (percentage point) improvement in video-level accuracy on Cholec80 and a 3.1 pp improvement on AutoLaparo. Moreover, it achieves a 5.3 pp improvement in phase-level Jaccard on AutoLaparo and a 1.55 pp improvement on Cholec80. Our results demonstrate the effectiveness of our approach in achieving state-of-the-art performance of surgical phase recognition on two datasets of different surgical procedures and temporal sequencing characteristics whilst introducing mechanisms that cope with long videos.

연구 동기 및 목표

• 표준 모델이 장시간 영상(1~2시간)에서 세밀한 시간적 세부 정보를 상실하는 문제를 해결한다.
• RNN 및 TCN가 수술 영상 시퀀스에서 장거리 상관관계를 포착하고 세밀한 특징을 유지하는 데 한계를 가진다는 문제를 해결한다.
• 다중 척도 시간 집계기로 국소적 단기 및 전역적 장기 시간적 특징을 융합하여 성능을 향상시킨다.
• 단계 전이 지ap 감독 신호를 사용하여 단계 전이 모델링을 향상시키고, 정확도를 높인다.
• 도구 존재 또는 기구 추적과 같은 추가 애너테이션에 의존하지 않고도 장시간 영상에서 높은 정확도와 효율성을 유지하는 방법을 개발한다.

제안 방법

• 유사한 프레임이 여러 단계에서 나타나는 문제를 피하기 위해, 영상 클립 수준의 감독을 사용하여 시간적으로 rich한 공간적 특징 추출기를 훈련시킨다.
• 짧은 영상 클립에서 국소적 시간적 특징을 집계하기 위해, 일반 자기주의 기반의 두 개의 연속된 L-Trans 모듈을 사용한다.
• 전체 수술 영상에서 장거리 상관관계를 모델링하기 위해 ProbSparse 자기주의를 사용하는 G-Informer 모듈을 적용한다.
• 국소적 및 전역적 특징을 다중 척도 시간 헤드를 통해 융합하여 단계 분류를 수행한다.
• 단계 간 전이 영역을 강조하기 위해 단계 전이 지도를 감독 신호로 도입한다. 이는 모델이 단계 경계를 더 잘 인식하도록 한다.
• 추가적인 계산 비용이나 애너테이션 오버헤드 없이도 단계 전이 인식 감독을 통한 엔드 투 엔드 훈련을 통해 시간적 추론 능력을 향상시킨다.

Figure 1: The proposed LoViT framework for surgical video phase recognition. The $\mathcal{S}^{\mathcal{R}}$ module extracts temporally-rich spatial features $e$ from each video frame $x$ . Two cascaded L-Trans modules ( $\mathrm{L}_{s}$ -Trans and $\mathrm{L}_{l}$ -Trans) output local temporal feat

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처는 장시간 수술 영상에서 국소적 및 전역적 시간적 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 단계 전이 인식 감독은 모델이 수술 단계 간 전이를 인식하는 데 어떤 영향을 미치는가?
• RQ3 다중 척도 시간 집계기를 통해 국소적 및 전역적 특징을 융합하는 것이, TCN나 RNN에 의존하는 기존 방법보다 우수한가?
• RQ4 AutoLaparo와 같이 반복적인 단계와 작은 샘플 수를 가진 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 추가적인 메모리나 추론 속도 저하 없이도 제안된 방법은 장시간 영상에서 높은 정확도와 효율성을 유지할 수 있는가?

주요 결과

• Cholec80 데이터셋에서 LoViT는 Trans-SVNet 대비 영상 수준 정확도에서 2.4%p 향상되었다.
• 더 도전적인 AutoLaparo 데이터셋에서 LoViT는 Trans-SVNet 대비 3.1%p 향상되었으며, 복잡한 단계 관계에 대한 강건성을 보였다.
• 모든 데이터셋에서 TMRNet, TeCNO 및 Trans-SVNet을 모두 초월하여, 뛰어난 일반화 능력과 장기 시퀀스 모델링 능력을 입증하였다.
• 단계 전이 인식 감독은 모델이 수술 단계 간 전이를 더 잘 포착할 수 있도록 하여 정확도 향상에 기여하였다.
• 복잡한 시나리오에서는 국소적 시간적 특징이 전역적 관계보다 더 유용하며, 특히 AutoLaparo와 같이 반복적인 단계를 가진 데이터셋에서 그러한 경향이 뚜렷했다.
• ProbSparse 자기주의의 사용은 세밀한 특징을 유지하면서 효율적인 전역 모델링을 가능하게 하였으며, 이러한 세부 정보를 상실하는 확장된 컨볼루션 기반 TCN 방법보다 뛰어난 성능을 보였다.

Figure 2: Example of similar frames (first and third) corresponding to different phases in Cholec80 dataset [ 14 ] .