[논문 리뷰] One to Many: Adaptive Instrument Segmentation via Meta Learning and Dynamic Online Adaptation in Robotic Surgical Video

Zixu Zhao, Yueming Jin외 5명|arXiv (Cornell University)|2021. 03. 24.

Surgical Simulation and Training참고 문헌 41인용 수 5

한 줄 요약

이 논문은 사전 훈련된 수술 기구 세그멘테이션 모델을 새로운 로봇 수술 영상에 빠르고 소수의 샘플로 적응시키기 위한 메타학습 및 동적 온라인 적응 프레임워크인 MDAL을 제안한다. 첫 번째 프레임의 애너테이션만을 사용하여, 에피소드 기반 메타학습과 노이즈가 있는 가짜 레이블을 걸러내는 기울기 게이트를 활용함으로써, 최소한의 피니튜닝으로도 최신 기술 수준의 성능을 달성하며, 단지 5단계의 적응 후에도 베이스라인을 능가한다. 이는 분포 이질성에 대해서도 강건성을 유지한다.

ABSTRACT

Surgical instrument segmentation in robot-assisted surgery (RAS) - especially that using learning-based models - relies on the assumption that training and testing videos are sampled from the same domain. However, it is impractical and expensive to collect and annotate sufficient data from every new domain. To greatly increase the label efficiency, we explore a new problem, i.e., adaptive instrument segmentation, which is to effectively adapt one source model to new robotic surgical videos from multiple target domains, only given the annotated instruments in the first frame. We propose MDAL, a meta-learning based dynamic online adaptive learning scheme with a two-stage framework to fast adapt the model parameters on the first frame and partial subsequent frames while predicting the results. MDAL learns the general knowledge of instruments and the fast adaptation ability through the video-specific meta-learning paradigm. The added gradient gate excludes the noisy supervision from pseudo masks for dynamic online adaptation on target videos. We demonstrate empirically that MDAL outperforms other state-of-the-art methods on two datasets (including a real-world RAS dataset). The promising performance on ex-vivo scenes also benefits the downstream tasks such as robot-assisted suturing and camera control.

연구 동기 및 목표

• 로봇 수술 영상 세그멘테이션에서 도메인 이질성 문제를 해결하기 위해, 한 데이터셋에서 훈련된 모델이 분포 차이로 인해 새로운 임상 도메인에서 실패하는 문제를 다룬다.
• 특히 첫 번째 프레임의 기구 마스크만으로도 여러 새로운 타겟 도메인에 대해 단일 소스 모델을 신속하고 효과적으로 적응시킬 수 있도록 한다.
• 실시간 로봇 수술 영상에서의 외관 변화, 운동 블러, 가림 현상 등에 비록 영향을 받더라도 높은 세그멘테이션 정확도를 유지할 수 있는 방법을 개발한다.
• 정확하고 실시간의 기구 세그멘테이션을 제공하여 자율 카메라 제어 및 로봇 보조 봉합과 같은 후속 로봇 작업을 지원한다.
• 새로운 수술 현장이나 수술 유형마다 광범위한 재훈련이나 애너테이션을 반복할 필요를 줄이기 위해 효율적인 온라인 적응을 가능하게 한다.

제안 방법

• MDAL은 소스 도메인 영상에서 일반화 가능한 초기화를 학습하는 메타학습 단계와, 타겟 영상에서의 동적 온라인 적응 단계로 구성된 이단계 프레임워크를 사용한다.
• 이 방법은 영상 전용 메타학습 프레임워크를 사용하여, 첫 번째 프레임의 애너테이션만으로도 새로운 도메인에 신속히 적응할 수 있는 모델을 훈련한다.
• 기울기 게이트 메커니즘이 도입되어, 후속 프레임의 가짜 레이블이 세그멘테이션 손실을 감소시킬 경우에만 모델 파라미터를 갱신함으로써 노이즈가 많은 또는 신뢰할 수 없는 업데이트를 걸러낸다.
• 모델는 메타학습된 파라미터(θ*, α*)로 초기화되며, 첫 번째 프레임과 일부 후속 프레임을 대상으로 소수의 스텝에서 스티ochastic 경사 하강법을 통해 피니튜닝된다.
• 이 프레임워크는 이전 프레임의 가짜 마스크를 온라인 적응에 활용하지만, 손실이 향상될 경우에만 모델을 갱신함으로써 안정적이고 정확한 적응을 보장한다.
• 이 방법은 소스 데이터(예: EndoVis17)에서 엔드 투 엔드로 훈련된 후, 추가 사전 훈련 없이 타겟 도메인(예: HKPWH, DSS, PSH)에 적용된다.

실험 결과

연구 질문

• RQ1 단일 사전 훈련된 세그멘테이션 모델이 첫 번째 프레임의 애너테이션만으로도 새로운 로봇 수술 영상에 신속히 적응시킬 수 있는가?
• RQ2 소스와 타겟 수술 영상 도메인 간의 분포 이질성에 대해 모델 적응을 어떻게 강건하게 만들 수 있는가?
• RQ3 기울기 게이트 메커니즘을 갖춘 동적 온라인 적응은 노이즈가 많은 가짜 레이블을 걸러내며 시간이 지남에 따라 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ4 메타학습은 수술 기구 세그멘테이션에서 제로샷 일반화 및 빠른 적응을 얼마나 향상시키는가?
• RQ5 제안된 방법은 자율 카메라 제어 및 로봇 보조 봉합과 같은 후속 로봇 작업을 지원할 수 있는가?

주요 결과

• MDAL은 단지 5단계의 적응 후에도 피니튜닝 베이스라인을 능가하며, 100회 반복한 베이스라인을 초월한다.
• 어떠한 적응 없이도(K=0), 메타학습된 모델은 피니튜닝 베이스라인보다 최소 5.4% 높은 IoU를 달성하여 메타학습이 강력한 일반화 능력을 제공함을 보여준다.
• HKPWH 데이터셋에서 온라인 적응은 마지막 30%의 프레임에서 평균 IoU를 뚜렷이 향상시키며, 시간이 지남에 따라 지속적인 성능 유지를 보여준다.
• 기울기 게이트 메커니즘은 노이즈가 많은 가짜 레이블에서 유도되는 해로운 업데이트를 방지함으로써, 단순한 온라인 적응보다 더 안정적인 성능을 제공한다.
• 이식성 데이터셋(DSS 및 PSH)에서 MDAL은 큰 분포 이질성이 있는 새로운 시나리오에 성공적으로 적응하여, 첫 번째 프레임 애너테이션 후 약 2.6초 내에 정확한 세그멘테이션을 가능하게 한다.
• 이 방법은 실용적인 후속 응용을 가능하게 하며, 일관된 기구 세그멘테이션은 로봇 보조 봉합 및 자율 카메라 제어를 지원하며, 약 4 fps의 실시간 성능을 달성한다.