[논문 리뷰] "Train one, Classify one, Teach one" -- Cross-surgery transfer learning for surgical step recognition

Daniel Neimark, Omri Bar외 3명|arXiv (Cornell University)|2021. 02. 24.

Surgical Simulation and Training참고 문헌 28인용 수 5

한 줄 요약

이 논문은 새로운 시간열 적응 네트워크(TSAN)와 자기지도 학습 시퀀스 정렬(SeSo) 사전학습을 사용하여 네 가지 복강경 수술 절차 간 수술 단계를 인식하기 위한 교차 수술 전이 학습 프레임워크인 'Train one, Classify one, Teach one'를 제안한다. 최소한의 레이블된 데이터를 사용하여 담낭절제술에서 다른 절차로 전이할 경우 90% 이상의 정확도를 달성하여 수술 영상 분석에서 효과적인 도메인 적응을 입증한다.

ABSTRACT

Prior work demonstrated the ability of machine learning to automatically recognize surgical workflow steps from videos. However, these studies focused on only a single type of procedure. In this work, we analyze, for the first time, surgical step recognition on four different laparoscopic surgeries: Cholecystectomy, Right Hemicolectomy, Sleeve Gastrectomy, and Appendectomy. Inspired by the traditional apprenticeship model, in which surgical training is based on the Halstedian method, we paraphrase the "see one, do one, teach one" approach for the surgical intelligence domain as "train one, classify one, teach one". In machine learning, this approach is often referred to as transfer learning. To analyze the impact of transfer learning across different laparoscopic procedures, we explore various time-series architectures and examine their performance on each target domain. We introduce a new architecture, the Time-Series Adaptation Network (TSAN), an architecture optimized for transfer learning of surgical step recognition, and we show how TSAN can be pre-trained using self-supervised learning on a Sequence Sorting task. Such pre-training enables TSAN to learn workflow steps of a new laparoscopic procedure type from only a small number of labeled samples from the target procedure. Our proposed architecture leads to better performance compared to other possible architectures, reaching over 90% accuracy when transferring from laparoscopic Cholecystectomy to the other three procedure types.

연구 동기 및 목표

• 다양한 복강경 수술 절차 간 전이 학습을 통해 수술 단계 인식을 연구하기 위해.
• 자기지도 사전학습을 활용하여 대규모 레이블된 데이터셋에 대한 의존도를 줄이기 위해.
• 다양한 절차 유형을 사용하여 수술 영상 분석에서 도메인 적응의 효과성을 평가하기 위해.
• 수술 전이 학습에 최적화된 시간열 아키텍처를 개발하기 위해.
• 단일 절차 훈련을 초월한 수술 지능 모델의 일반화 능력을 입증하기 위해.

제안 방법

• 수술 단계 인식 및 전이 학습을 위해 설계된 새로운 시간열 아키텍처인 시간열 적응 네트워크(TSAN)를 제안한다.
• TSAN을 레이블이 없는 수술 영상 특징에 대해 사전학습하기 위해 자기지도 학습 시퀀스 정렬(SeSo) 작업을 도입한다.
• 담낭절제술에서 사전학습하고, 대상 절차인 오른쪽 허리내시경 절제술, 슬리브 간장절제술, 맹장절제술에서 미세조정하는 방식으로 전이 학습을 적용한다.
• 훈련 세트 크기가 다양한 경우의 성능을 평가하여 데이터 효율성을 분석한다.
• 동일한 사전학습 및 미세조정 프rotocol를 사용하여 TSAN을 표준 LSTM 및 기타 아키텍처와 비교한다.
• 진행적 서브셋 전략을 사용하여 훈련 데이터 크기의 함수로 정확도를 분석한다.

실험 결과

연구 질문

• RQ1 한 절차 유형에서 훈련된 수술 단계 인식 모델이 다른 복강경 수술 절차로 효과적으로 일반화될 수 있는가?
• RQ2 레이블이 없는 데이터에 대한 자기지도 사전학습이 수술 영상 분석에서 전이 학습을 향상시키는 데 얼마나 효과적인가?
• RQ3 교차 수술 전이 학습에서 원천 도메인과 대상 도메인 데이터가 사전학습 성능에 미치는 영향은 무엇인가?
• RQ4 모델 아키텍처(예: TSAN 대비 LSTM)가 다양한 수술 절차 간 전이 성능에 미치는 영향은 무엇인가?
• RQ5 새로운 수술 절차에 효과적으로 적응하기 위해 필요한 최소한의 레이블된 데이터는 얼마인가?

주요 결과

• SeSo 사전학습을 적용한 TSAN은 담낭절제술에서 오른쪽 허리내시경 절제술, 슬리브 간장절제술, 맹장절제술로 전이할 경우 90% 이상의 정확도를 달성한다.
• SeSo를 사용해 담낭절제술 데이터에서 사전학습한 경우 오른쪽 허리내시경 절제술에서 94.7%의 정확도와 맹장절제술에서 90.4%의 정확도를 기록한다.
• 대상 절차당 100~200개의 훈련 샘플만으로도 성능이 일관되게 높게 유지되며(90% 이상), 높은 정확도를 유지한다.
• 원천(담낭절제술) 데이터에서 SeSo 사전학습을 수행했을 경우 대상 데이터셋에서 사전학습한 것보다 약간의 향상만을 보이며, 도메인 이동에 대해 강건함을 시사한다.
• SeSo 사전학습 중 검증 정확도가 담낭절제술에서 더 빨리 수렴함을 확인하여, 더 큰 규모의 데이터가 자기지도 학습에 기여함을 시사한다.
• 이 연구는 오른쪽 허리내시경 절제술과 맹장절제술을 포함하여 네 가지 복강경 수술 절차에 걸쳐 수술 단계 인식을 분석한 최초의 연구이다.