[논문 리뷰] EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos

Andru Putra Twinanda, Sherif Shehata외 4명|arXiv (Cornell University)|2016. 02. 09.

Colorectal Cancer Screening and Detection참고 문헌 13인용 수 5

한 줄 요약

EndoNet은 라파로스코픽 담도절제술 영상에서 시각적 데이터만을 사용하여 단일 단계에서 단계 식별과 기구 존재 감지를 동시에 수행하는 새로운 딥 컨volution 신경망(CNN) 아키텍처이다. 이는 수동으로 설계된 특징과 기준 레이블에서 유도된 이진 기구 신호보다도 더 우수한 성능을 내기 위해 자동으로 구분 가능한 시각적 특징을 학습함으로써 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Surgical workflow recognition has numerous potential medical applications, such as the automatic indexing of surgical video databases and the optimization of real-time operating room scheduling, among others. As a result, phase recognition has been studied in the context of several kinds of surgeries, such as cataract, neurological, and laparoscopic surgeries. In the literature, two types of features are typically used to perform this task: visual features and tool usage signals. However, the visual features used are mostly handcrafted. Furthermore, the tool usage signals are usually collected via a manual annotation process or by using additional equipment. In this paper, we propose a novel method for phase recognition that uses a convolutional neural network (CNN) to automatically learn features from cholecystectomy videos and that relies uniquely on visual information. In previous studies, it has been shown that the tool signals can provide valuable information in performing the phase recognition task. Thus, we present a novel CNN architecture, called EndoNet, that is designed to carry out the phase recognition and tool presence detection tasks in a multi-task manner. To the best of our knowledge, this is the first work proposing to use a CNN for multiple recognition tasks on laparoscopic videos. Extensive experimental comparisons to other methods show that EndoNet yields state-of-the-art results for both tasks.

연구 동기 및 목표

• 라파로스코픽 수술 인식에서 수동으로 설계된 시각적 특징과 수동으로 주석 처리된 기구 신호의 한계를 해결하기 위해.
• 원시 라파로스코픽 영상 프레임에서 자동으로 분류 가능한 시각적 특징을 학습하는 딥 러닝 프레임워크를 개발하기 위해.
• 단일 CNN 아키텍처를 사용해 단계 식별과 기구 존재 감지 작업을 동시에 학습함으로써 다중 작업 학습을 가능하게 하기 위해.
• 수술 영상 인식 방법을 평가하기 위한 대규모 공개 데이터셋(Cholec80)을 구축하기 위해.
• Cholec80 및 EndoVis 데이터셋에서의 평가를 통해 일반화 능력과 강건성을 입증하기 위해.

제안 방법

• 단계 식별과 기구 존재 감지의 다중 작업 학습을 위해 설계된 맞춤형 CNN 아키텍처인 EndoNet을 제안한다.
• 수동으로 설계된 기술자료 없이 원시 영상 프레임에서 계층적인 시각적 특징을 학습하기 위해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 단일 CNN 아키텍처를 통해 단계 분류와 기구 존재 예측을 동시에 최적화하는 다중 작업 손실 함수를 사용한다.
• 13명의 외과의가 수행한 80개의 담도절제술 영상로 구성된 Cholec80 데이터셋에서 네트워크를 미세조정한다.
• 3D 컨volution 레이어를 활용해 시공간 패턴을 포착하기 위해 공간적 및 시간적 특징 추출을 수행한다.
• 외부 센서나 기구 신호의 수동 주석 처리에 의존하지 않고 시각적 입력에만 의존한다.

실험 결과

연구 질문

• RQ1 딥 CNN은 수동으로 설계된 특징보다 라파로스코픽 단계 식별을 위해 더 구분 가능한 시각적 특징을 학습할 수 있는가?
• RQ2 단계 식별과 기구 존재 감지의 공동 학습은 단일 작업 학습보다 성능을 향상시키는가?
• RQ3 기준 레이블에서 유도된 이진 기구 존재 신호보다 CNN이 학습한 시각적 특징이 더 우수한가?
• RQ4 제안된 EndoNet 아키텍처는 다양한 라파로스코픽 영상 데이터셋에 대해 얼마나 일반화되는가?
• RQ5 한 기관에서 수집한 데이터의 변동성은 모델의 일반화에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• EndoNet은 단계 식별과 기구 존재 감지 작업 모두에서 이전 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.
• 기준 레이블에서 유도된 이진 기구 신호와 비슷한 성능을 내는 데에도 불구하고, EndoNet이 학습한 시각적 특징은 단계 식별에서 수동으로 설계된 특징보다 뚜렷이 뛰어나다.
• 더 작은 EndoVis 데이터셋으로의 일반화 성능이 양호하여, 학습된 특징의 강건성과 이식 가능성(transferability)을 입증한다.
• Cholec80 데이터셋의 더 큰 부분집합에서의 미세조정은 성능 향상을 가져오므로, 더 많은 데이터로 확장 가능함을 시사한다.
• 라파로스코픽 영상에는 단순한 기구 존재 외에도 풍부한 시각적 특징이 존재하며, EndoNet이 이를 성공적으로 포착하고 있음을 시사한다.
• 모델의 일반화 능력을 향상시키고 과적합을 줄이기 위해 더 큰 다기관 데이터셋이 필요하다는 점을 강조한다.