[논문 리뷰] Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer

Xiaojie Gao, Yueming Jin외 3명|arXiv (Cornell University)|2021. 03. 17.

Surgical Simulation and Training참고 문헌 30인용 수 12

한 줄 요약

Trans-SVNet는 공간 특징을 ResNet에서, 시간 특징을 TCN에서 추출한 후 어텐션 메커니즘을 통해 융합하는 하이브리드 임베딩 집합 트랜스포머를 제안하여 정확하고 실시간으로 외과 절차 인식을 수행한다. 공간 임베딩이 시간 시퀀스를 쿼리함으로써 특징 표현을 향상시키며, 추가적인 파라미터 부담 없이도 91 fps의 추론 속도를 달성하고 Cholec80 및 M2CAI16 데이터셋에서 SOTA 성능을 기록한다.

ABSTRACT

Real-time surgical phase recognition is a fundamental task in modern operating rooms. Previous works tackle this task relying on architectures arranged in spatio-temporal order, however, the supportive benefits of intermediate spatial features are not considered. In this paper, we introduce, for the first time in surgical workflow analysis, Transformer to reconsider the ignored complementary effects of spatial and temporal features for accurate surgical phase recognition. Our hybrid embedding aggregation Transformer fuses cleverly designed spatial and temporal embeddings by allowing for active queries based on spatial information from temporal embedding sequences. More importantly, our framework processes the hybrid embeddings in parallel to achieve a high inference speed. Our method is thoroughly validated on two large surgical video datasets, i.e., Cholec80 and M2CAI16 Challenge datasets, and outperforms the state-of-the-art approaches at a processing speed of 91 fps.

연구 동기 및 목표

• 이전 방법들이 공간 및 시간 특징을 순차적으로 처리함으로써 중요한 시각적 세부 정보를 손실하는 데 기인한 한계를 해결하기 위해.
• 트랜스포머가 보완적인 공간 및 시간 특징을 융합하는 데 잠재력을 탐색하기 위해.
• 실시간 운영실 배포에 적합한 파라미터 효율적이고 고속의 프레임워크를 개발하기 위해.
• 공간 특징이 시간 표현을 능동적으로 쿼리하여 누락된 맥락적 세부 정보를 보완함으로써 단계 인식 정확도를 향상시키기 위해.
• 실시간 제약 조건 하에서 대규모 외과 영상 기준에서 모델의 우수성을 검증하기 위해.

제안 방법

• 개별 영상 프레임에서 공간 임베딩 $ l_t $ 를 추출하기 위해 ResNet을 사용하여 세부적인 외관 정보를 유지한다.
• 장기적인 시간적 의존성을 캡처하기 위해 다단계 TCN인 TeCNO를 활용하여 순차적 시간 임베딩 $ g_{t-n+1:t} $ 를 생성한다.
• 공간 임베딩 $ l_t $ 가 시간 임베딩 시퀀스 $ g_{t-n+1:t} $ 를 참조할 수 있도록 하는 새로운 트랜스포머 기반 집합 모듈을 도입하여 동적 특징 정밀화를 가능하게 한다.
• 하이브리드 임베딩을 병렬 처리하여 높은 추론 속도와 계산 효율성을 확보한다.
• 학습된 쿼리, 키, 밸류를 사용한 멀티헤드 자기어텐션을 적용하여 공간 및 시간 특징 간의 다중모odal 상호작용을 모델링한다.
• 아블레이션 스터디를 통해 성능과 노이즈 간의 균형을 고려할 때 최적의 시간 시퀀스 길이 $ n = 30 $ 를 도출한다.

실험 결과

연구 질문

• RQ1 공간 특징을 활용해 시간 표현을 향상시키는 트랜스포머 기반 융합 메커니즘이 외과 절차 인식 성능을 향상시킬 수 있는가?
• RQ2 공간 특징을 사용해 시간 임베딩을 쿼리하는 것이 순차적 또는 연결된 특징 처리 방식보다 성능 향상에 기여하는가?
• RQ3 제안된 하이브리드 임베딩 집합 방식은 정확도 및 추론 속도 측면에서 최신 기술 대비 어떻게 비교되는가?
• RQ4 실시간 외과 영상 분석에서 성능과 노이즈 간의 균형을 고려할 때 최적의 시간 임베딩 시퀀스 길이는 얼마인가?
• RQ5 제안된 방법은 Cholec80 및 M2CAI16와 같은 다양한 외과 영상 데이터셋에서 강건하고 일반화 가능한가?

주요 결과

• Trans-SVNet는 Cholec80 데이터셋에서 테스트 정확도 90.3%를 달성하여 기준 모델인 ResNet(82.1%) 및 TeCNO(88.6%)를 뛰어넘었다.
• Cholec80에서 Jaccard 지수 79.3%를 기록하여 외과 단계 간의 분할 일관성이 뛰어나다는 것을 입증했다.
• 91 fps의 처리 속도를 확보하여 모든 비교 모델보다 뛰어난 성능를 유지하면서도 실시간 추론 능력을 유지를 했다.
• 아블레이션 스터디 결과, 공간 임베딩 $ l_t $ 를 시간 시퀀스 $ g_{t-n+1:t} $ 를 쿼리하는 데 사용할 경우가 가장 높은 성능를 기록했으며, 모든 비교에서 P-value < 0.05를 확보했다.
• ResNet $ \text{cat} $ TeCNO 및 기타 트랜스포머 변종 대비 일관된 성능 향상을 보이며, 제안된 어텐션 기반 융합 전략의 효과성을 입증했다.
• 시간 시퀀스 길이를 10에서 40으로 늘일 경우 성능 향상이 $ n = 30 $ 까지 지속되며, 이후에는 성능 향상이 정체됨을 확인하여 맥락과 노이즈 간의 최적 균형을 도출했다.