[논문 리뷰] TUNeS: A Temporal U-Net with Self-Attention for Video-based Surgical Phase Recognition

Isabel Funke, Dominik Rivoir외 2명|arXiv (Cornell University)|2023. 07. 19.

Surgical Simulation and Training인용 수 4

한 줄 요약

TUNeS는 비디오 기반 외과 단계 인식을 위한 새로운 시간적 U-Net 아키텍처로, 자기주의(self-attention)를 U-Net 아키텍처에 통합하여 장거리 시간적 의존성을 효율적으로 모델링한다. 장기간의 비디오 세그먼트(최대 64 프레임)에서 CNN 특징 추출기와 LSTM을 공동으로 훈련함으로써 TUNeS는 Cholec80 데이터셋에서 온라인 모드를 제외한 오프라인 모드에서 92.3% 정확도와 78.4% 매크로 재현율(Jaccard)을 달성하여 최신 기준 성능(SoA)을 확립한다.

ABSTRACT

Objective: To enable context-aware computer assistance in the operating room of the future, cognitive systems need to understand automatically which surgical phase is being performed by the medical team. The primary source of information for surgical phase recognition is typically video, which presents two challenges: extracting meaningful features from the video stream and effectively modeling temporal information in the sequence of visual features. Methods: For temporal modeling, attention mechanisms have gained popularity due to their ability to capture long-range dependencies. In this paper, we explore design choices for attention in existing temporal models for surgical phase recognition and propose a novel approach that uses attention more effectively and does not require hand-crafted constraints: TUNeS, an efficient and simple temporal model that incorporates self-attention at the core of a convolutional U-Net structure. In addition, we propose to train the feature extractor, a standard CNN, together with an LSTM on preferably long video segments, i.e., with long temporal context. Results: In our experiments, almost all temporal models performed better on top of feature extractors that were trained with longer temporal context. On these contextualized features, TUNeS achieves state-of-the-art results on the Cholec80 dataset. Conclusion: This study offers new insights on how to use attention mechanisms to build accurate and efficient temporal models for surgical phase recognition. Significance: Implementing automatic surgical phase recognition is essential to automate the analysis and optimization of surgical workflows and to enable context-aware computer assistance during surgery, thus ultimately improving patient care.

연구 동기 및 목표

• 자연어 처리 기법을 응용하여 U-Net 아키텍처에 자기주의를 효과적으로 통합함으로써 비디오 기반 외과 단계 인식에서 시간적 모델링을 향상시키는 것.
• 시각적 특징 추출기를 장기간의 시간적 맥락(최대 64 프레임)으로 훈련시키는 것이 후속 단계 인식 성능에 미치는 영향을 조사하는 것.
• 높은 정확도와 모호한 프레임에 대한 강건성을 확보하면서 온라인 및 오프라인 외과 단계 인식을 모두 지원하는 모델을 개발하는 것.
• 자기주의가 수작업 제약 없이 U-Net 아키텍처에 효율적으로 적용될 수 있음을 보여주고, 장거리 의존성 모델링을 향상시키는 것.
• 맥락 기반 특징과 통합된 주의 강화 시간적 모델을 사용하여 Cholec80 데이터셋에서 새로운 최신 기준 성능 기준을 설정하는 것.

제안 방법

• TUNeS는 U-Net 인코더-디코더 아키텍처의 브로치(bottleneck)에 자기주의를 통합하여, 다운샘플링된 의미적으로 풍부한 특징에서 장거리 시간적 의존성을 효과적으로 모델링하는 시간적 U-넷을 제안한다.
• 장기간의 비디오 시퀀스(L=1, 8, 또는 64 프레임)에서 CNN 특징 추출기와 LSTM을 공동 훈련하는 방식으로, CNN이 맥락 인식 특징을 학습하도록 한다.
• 시간적 다운샘플링 이후에 자기주의를 적용하여 계산 비용을 줄이면서도 전역 맥락 모델링 능력을 유지한다.
• U-Net 유사 스킵 커넥션 아키텍처를 사용하여 공간적 및 시간적 해상도를 유지함으로써 특징 재구성과 단계 예측 정확도를 향상시킨다.
• 학습 중 일반화와 수렴을 향상시키기 위해 코사인 안내 학습률 스케줄러를 사용한다.
• 표준 교차 엔트로피 손실과 스무딩 손실을 사용하여 Cholec80 데이터셋에서 모델을 엔드 투 엔드로 훈련하고, 추론은 훈련된 CNN과 TUNeS 백본만을 사용한다.

실험 결과

연구 질문

• RQ1 L=64로 설정된 장기간의 시간적 맥락(64 프레임)으로 시각적 특징 추출기를 훈련하는 것이 단일 프레임 또는 짧은 시퀀스 훈련 대비 외과 단계 인식 성능을 유의미하게 향상시키는가?
• RQ2 자기주의가 U-넷 기반 아키텍처에 시간적 모델링을 위해 효과적이고 효율적으로 통합될 수 있는가?
• RQ3 TUNeS는 온라인 및 오프라인 평가 모드에서 기존 최신 기준 모델들과 비교해 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 U-넷 브로치에서 자기주의를 사용할 경우 외과 워크플로우 내에서 장거리 시간적 의존성 모델링이 얼마나 향상되는가?
• RQ5 장기간의 비디오 세그먼트에서 CNN과 LSTM을 공동으로 훈련시키는 것이 단계 인식을 위한 더 구분력 있고 맥락 인식 특징을 생성하는가?

주요 결과

• TUNeS는 L=64 맥락을 사용하여 훈련한 경우 오프라인 모드에서 Cholec80 데이터셋에서 92.3% 정확도와 78.4% 매크로 재현율(Jaccard)을 달성한다.
• L=64 맥락을 사용한 모델이 모든 설정에서 최고의 성능을 보이며, 장기 맥락 훈련이 특징 품질과 인식 정확도 향상에 크게 기여함을 입증한다.
• TUNeS는 온라인 및 오프라인 평가 프로토콜 양쪽에서 TeCNO, ASFormer, SAHC를 포함한 모든 베이스라인 모델을 능가하며, Cholec80에서 새로운 최신 기준 성능을 확립한다.
• 혼동 행렬에서 행 정규화(재현율) 및 열 정규화(정밀도) 형태로 높은 대각선 값이 관찰되어 각 단계의 분류 성능이 뛰어나고 오분류 비율이 낮음을 시사한다.
• 코사인 안내 학습률 스케줄러를 사용할 경우 성능이 추가로 향상되며, 이와 결합한 TUNeS는 오프라인 모드에서 94.6% 정확도와 82.5% 매크로 재현율(Jaccard)을 달성한다.
• 모든 시간적 모델, 특히 TUNeS를 포함하여, CNN이 장기간 비디오 세그먼트에서 LSTM과 공동으로 훈련된 특징을 추출할 경우 더 높은 성능을 보이며, 맥락 기반 특징 학습의 유용성을 확인한다.