[논문 리뷰] Weakly-Supervised Learning for Tool Localization in Laparoscopic Videos

Armine Vardazaryan, Didier Mutter외 2명|arXiv (Cornell University)|2018. 06. 14.

Surgical Simulation and Training참고 문헌 17인용 수 4

한 줄 요약

이 논문은 비용이 많이 드는 공간적 애너테이션 대신 이미지 수준의 애너테이션만을 사용하여 복강경 영상에서 수술 기구의 위치를 특정하는 약한 감독 기반 딥 러닝 방법을 제안한다. 완전 컨volution 네트워크(FCN)에 ResNet18 백본과 확장된 공간 풀링(ESP)을 적용하여 모델은 정확도가 높은 위치 지도를 생성하며, Cholec80 데이터셋에서 평균 정밀도 88%를 달성한다.

ABSTRACT

Surgical tool localization is an essential task for the automatic analysis of endoscopic videos. In the literature, existing methods for tool localization, tracking and segmentation require training data that is fully annotated, thereby limiting the size of the datasets that can be used and the generalization of the approaches. In this work, we propose to circumvent the lack of annotated data with weak supervision. We propose a deep architecture, trained solely on image level annotations, that can be used for both tool presence detection and localization in surgical videos. Our architecture relies on a fully convolutional neural network, trained end-to-end, enabling us to localize surgical tools without explicit spatial annotations. We demonstrate the benefits of our approach on a large public dataset, Cholec80, which is fully annotated with binary tool presence information and of which 5 videos have been fully annotated with bounding boxes and tool centers for the evaluation.

연구 동기 및 목표

• 공수 영상 데이터셋에서 공간적 애너테이션이 제한되어 있어 모델의 확장성과 일반화 능력이 제한되는 문제를 해결한다.
• 학습 시 바운딩 박스나 세그멘테이션 마스크가 필요 없이 기구 위치 특정을 가능하게 한다.
• 딥 네트워크의 특징 계층을 활용하여 이미지 수준의 레이블만으로 공간적 위치를 추론한다.
• Cholec80와 같은 대규모 공개 데이터셋에서 수술 기구 검출 및 위치 특정을 위한 약한 감독 학습의 가능성을 입증한다.
• 자동 애너테이션 도구 및 향후 세그멘테이션 방법을 위한 기반을 제공한다.

제안 방법

• 공간 해상도를 유지하기 위해 최종 완전 연결 층과 평균 풀링을 완전 컨볼루션 아키텍처로 교체함으로써 ResNet18 백본을 변형한다.
• 마지막 두 리스크 블록의 스트라이드를 2에서 1로 감소시켜 특징 맵 해상도를 증가시켜 전반적인 스트라이드가 8이 되도록 한다.
• C개의 위치 지도(도구에 대해 C=7)를 생성하기 위해 1×1 컨볼루션 레이어를 사용하고, 객체 검출의 세부 정보를 향상시키기 위해 확장된 공간 풀링(ESP)을 적용한다.
• ESP 풀링 적용: $ s^c = \max z^c + \alpha \min z^c $, $\alpha = 0.6$로 클래스별 신뢰도 점수를 생성하고 위치 지도를 정밀하게 개선한다.
• 추론 시 이중선형 보간을 통해 위치 지도를 업샘플링하고, 최대 활성화 위치를 기반으로 기구 중심을 예측한다.
• 정확도와 일반화 능력을 향상시키기 위해 무작위 컷팅, 색상 왜곡, 미크업과 같은 데이터 증강 기법을 도입한다.

실험 결과

연구 질문

• RQ1 약한 감독 기반 딥 러닝 모델이 공간적 애너테이션 없이 이미지 수준의 애너테이션만으로 정확한 수술 기구 위치 특정을 달성할 수 있는가?
• RQ2 표준 풀링과 비교할 때 확장된 공간 풀링(ESP)이 위치 특정 정밀도 향상에 어떤 영향을 미치는가?
• RQ3 믹업 및 마스킹과 같은 데이터 증강 전략이 수술 영상 데이터에 대한 모델의 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 형태가 모호하거나 외형이 다양할 수 있는 기구들, 예를 들어 샘플 케이스 백과 같이, 모델의 성능은 어떠한가?
• RQ5 학습된 위치 지도를 향후 약한 감독 기반 세그멘테이션 또는 자동 애너테이션 파이프라인을 안내하는 데 사용할 수 있는가?

주요 결과

• 제안된 약한 감독 기반 방법은 Cholec80 테스트 세트에서 기구 위치 특정에 대해 평균 정밀도(mAP) 88%를 달성하여 공간적 애너테이션이 없이도 뛰어난 성능을 보였다.
• ESP와 마스킹을 모두 적용한 모델(FCN_ESP_Msk)이 예측된 기구 중심과 진짜 중심 사이의 평균 거리 오차가 가장 낮아(6.8%) 다른 변종보다 뛰어난 성능을 보였다.
• 샘플 케이스 백은 가장 높은 오차(9.7% 평균 거리)를 보였으며, 이는 형태가 다양하고 중심점이 모호하기 때문으로 추정된다.
• ESP와 마스킹을 적용한 모델의 위치 지도는 도구 영역을 더 잘 커버하고, 특히 가위와 세척기와 같은 도구에 대해 더 구분력 있는 활성화 패턴을 보였다.
• 모델은 가위와 세척기의 손잡이 부분을 매우 구분력 있는 특징으로 인식하여, 이는 진짜 바운딩 박스가 도구 끝부분에 집중되어 있는 데 비해 예측 결과가 끝부분과 일치하지 않아 정확도가 낮아진 이유일 수 있다.
• 정성적 결과 분석을 통해 FCN_ESP_MM_Msk 모델이 가장 일관되고 세밀한 위치 지도를 생성했으며, 도구 끝부분에서 강한 활성화와 최소한의 오진 양성 결과를 보였다.