[논문 리뷰] LapTool-Net: A Contextual Detector of Surgical Tools in Laparoscopic Videos Based on Recurrent Convolutional Neural Networks

Babak Namazi, Ganesh Sankaranarayanan외 1명|arXiv (Cornell University)|2019. 05. 22.

Colorectal Cancer Screening and Detection참고 문헌 42인용 수 8

한 줄 요약

LapTool-Net는 수술 도구 간의 공간적 및 시간적 상관관계를 모델링함으로써 복강경 영상 프레임에서 다중 수술 도구를 감지하는 맥락 인식형, 엔드 투 엔드 학습 가능한 순환 합성곱 신경망(RCNN)이다. M2CAI 데이터셋에서 전체 학습 데이터의 25% 미만을 사용하고, 얕은 Inception-V1 백본을 사용함에도 불구하고 89.11%의 mAP를 기록하여 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

We propose a new multilabel classifier, called LapTool-Net to detect the presence of surgical tools in each frame of a laparoscopic video. The novelty of LapTool-Net is the exploitation of the correlation among the usage of different tools and, the tools and tasks - namely, the context of the tools' usage. Towards this goal, the pattern in the co-occurrence of the tools is utilized for designing a decision policy for a multilabel classifier based on a Recurrent Convolutional Neural Network (RCNN) architecture to simultaneously extract the spatio-temporal features. In contrast to the previous multilabel classification methods, the RCNN and the decision model are trained in an end-to-end manner using a multitask learning scheme. To overcome the high imbalance and avoid overfitting caused by the lack of variety in the training data, a high down-sampling rate is chosen based on the more frequent combinations. Furthermore, at the post-processing step, the prediction for all the frames of a video are corrected by designing a bi-directional RNN to model the long-term task's order. LapTool-net was trained using a publicly available dataset of laparoscopic cholecystectomy. The results show LapTool-Net outperforms existing methods significantly, even while using fewer training samples and a shallower architecture.

연구 동기 및 목표

• 복강경 영상에서 다중 수술 도구를 자동으로 실시간으로 감지할 수 있는 시스템을 개발하여 수동 영상 평가에 대한 의존도를 줄이기.
• 복강경 영상 분석에서 다중 레이블 분류, 운동 흐림, 카메라 흔들림, 도구 동시 존재 패턴 등의 과제를 해결하기.
• 수술 작업 순서와 도구 사용 간의 맥락적 관계를 모델링하여 감지 정확도를 향상시키기.
• 자주 나타나는 도구 조합 기반의 언더샘플링 및 논리 프로그래밍 기반 결론층을 통해 과적합과 데이터 불균형을 감소시키기.
• 최소한의 학습 데이터로도 높은 성능을 달성하여 더 빠른 레이블링 파이프라인을 지원함으로써 효율적인 레이블링을 가능하게 하기.

제안 방법

• 복강경 영상 프레임에서 공간적 도구 외형과 시간적 동적 특성을 모두 캡처하기 위해, 순환 합성곱 신경망(RCNN)을 사용하여 공간-시간 특징을 동시에 추출한다.
• 엔드 투 엔드 학습 중에 도구 동시 존재 패턴의 일관성을 강제하고 다중 레이블 상관관계를 모델링하기 위해 논리 프로그래밍(LP) 기반 결론층을 RCNN에 통합한다.
• 데이터셋의 극심한 불균형을 완화하고 과적합을 줄이기 위해 도구 조합의 빈도 기반 언더샘플링 전략을 적용한다.
• 모든 영상 프레임에 걸쳐 장기적인 작업 순서와 시간적 일관성을 모델링하기 위해 추론 시 양방향 RNN을 적용하여 예측을 정밀하게 보정한다.
• 특징 추출과 결론 논리 모두를 동시에 최적화하는 다중 작업 학습 기반으로 전체 시스템을 엔드 투 엔드 방식으로 학습시킨다.
• 성능 평가에 M2CAI 데이터셋을 사용하며, mAP 및 F1-macro 점수로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 수술 작업 순서와 도구 사용 간의 맥락적 관계를 모델링하면 복강경 영상에서 다중 레이블 감지 정확도가 향상되는가?
• RQ2 논리 프로그래밍 기반 결론층을 갖춘 RCNN의 엔드 투 엔드 학습은 기존의 다중 레이블 분류 기법에 비해 일반화 능력과 데이터 효율성 측면에서 어떻게 비교되는가?
• RQ3 도구 동시 존재 패턴 기반 고비율 언더샘플링 전략이 수술 영상 데이터셋의 데이터 불균형과 과적합 문제를 어느 정도 완화할 수 있는가?
• RQ4 장기적인 작업 순서를 모델링함으로써 양방향 RNN이 영상 프레임 간의 예측 일관성을 향상시키는가?
• RQ5 맥락 인식 학습과 후처리 기법을 결합한 얕은 CNN 아키텍처가 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• LapTool-Net는 M2CAI 데이터셋에서 평균 평균 정밀도(mAP) 89.11%를 기록하여 기존 방법들을 뛰어넘었다.
• RCNN 구성 요소만으로도 81.95%의 F1-macro 점수를 달성하여 강력한 다중 레이블 분류 성능를 입증하였다.
• 학습 프레임의 24.6%만(전체 프레임의 1% 미만)을 사용했음에도 불구하고, ResNet-101 및 Inception-V3와 같은 깊은 네트워크를 사용한 방법들을 뛰어넘었다.
• 도구 조합의 빈도 기반 언더샘플링 전략을 통해 과적합이 감소하고 일반화 능력이 향상되었으며, 영상에서 높은 프레임 상관관계가 존재하는 상황에서도 유의미한 효과를 보였다.
• 양방향 RNN 후처리 단계는 예측의 시간적 일관성을 향상시켜 시퀀스 간의 일관성을 개선했다.
• 프레임당 0.01초 미만의 실시간 추론 성능을 달성하여 수술 중 실시간 피드백에 적합한 성능를 확보하였다.