[논문 리뷰] Single- and Multi-Task Architectures for Tool Presence Detection Challenge at M2CAI 2016

Andru Putra Twinanda, Didier Mutter외 3명|arXiv (Cornell University)|2016. 10. 27.

IoT and Edge/Fog Computing참고 문헌 2인용 수 23

한 줄 요약

이 논문은 복강경 담낭절제술 영상에서 수술도구 존재 감지를 위한 단일태스크(ToolNet) 및 다중태스크(EndoNet) 딥 컨volution 신경망 아키텍처를 평가한다. ImageNet에서의 전이학습 및 제한된 데이터셋에 대한 피니팅을 통해, 모델 성능은 다중태스크 학습보다 훈련 데이터 크기에 크게 의존하며, 더 큰 데이터셋을 사용할 경우 mAP가 52.5에서 74.2로 향상됨을 발견하여, 희귀 도구(예: 가위, 세척기)에 대해 데이터 부족이 핵심 장벽임을 시사한다.

ABSTRACT

The tool presence detection challenge at M2CAI 2016 consists of identifying the presence/absence of seven surgical tools in the images of cholecystectomy videos. Here, we propose to use deep architectures that are based on our previous work where we presented several architectures to perform multiple recognition tasks on laparoscopic videos. In this technical report, we present the tool presence detection results using two architectures: (1) a single-task architecture designed to perform solely the tool presence detection task and (2) a multi-task architecture designed to perform jointly phase recognition and tool presence detection. The results show that the multi-task network only slightly improves the tool presence detection results. In constrast, a significant improvement is obtained when there are more data available to train the networks. This significant improvement can be regarded as a call for action for other institutions to start working toward publishing more datasets into the community, so that better models could be generated to perform the task.

연구 동기 및 목표

• 딥 러닝 아키텍처를 사용하여 M2CAI 2016 도구 존재 감지 과제를 해결하기 위해.
• 복강경 영상에서 도구 존재 감지에 대해 단일태스크(ToolNet) 및 다중태스크(EndoNet) CNN의 성능을 비교하기 위해.
• 목표 데이터셋에 단계 레이블이 제공되지 않을 경우, 수술 단계 인식과의 공동 학습이 도구 감지 성능 향상에 기여하는지 조사하기 위해.
• 훈련 데이터 크기가 모델 일반화 능력, 특히 드물게 발생하는 도구에 대해 어떤 영향을 미치는지 평가하기 위해.
• 제한된 데이터셋에 대해 전이학습 및 피니팅을 사용한 수술도구 인식의 가능성 탐색하기 위해.

제안 방법

• ToolNet 및 EndoNet 아키텍처의 백본으로 사전 훈련된 ImageNet AlexNet을 피니팅하였다.
• ToolNet을 도구 존재 감지 전용 단일태스크 네트워크로 훈련시켰으며, 7개 클래스 분류 헤드(fc_tool)를 사용하였다.
• EndoNet을 수술 단계 인식과 도구 존재 감지의 두 가지 태스크를 동시에 최적화하는 다중태스크 네트워크로 훈련시켰다.
• Cholec80 데이터셋(단계 및 도구 레이블 포함)을 사용해 EndoNet과 ToolNet을 사전 훈련하였으며, m2cai16-tool 데이터셋은 단계 레이블이 없음에도 불구하고 이를 활용하였다.
• 전이학습을 적용하였으며, 무작위로 초기화된 최종 레이어(fc_tool 및 fc_phase)에 대해 초기 학습률을 10⁻²로 설정하고, 20,000 반복마다 10배씩 감소시켰다.
• 모델 성능 평가에 평균 평균 정확도(mAP)를 사용하였으며, 출력 로짓에 신뢰도 임계값을 적용하여 각 도구별로 계산하고 전체 도구 평균을 구하였다.

실험 결과

연구 질문

• RQ1 수술 단계 인식과의 다중태스크 학습이 단일태스크 학습 대비 도구 존재 감지 성능 향상에 기여하는가?
• RQ2 훈련 데이터셋 크기가 도구 존재 감지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 도메인 차이가 존재함에도 불구하고, 더 큰 다중레이블 데이터셋(Cholec80)에서의 전이학습이 더 작은 단일레이블 데이터셋(m2cai16-tool)에서의 성능 향상에 기여하는가?
• RQ4 어떤 도구(예: 가위, 세척기)는 상당히 낮은 감지 정확도를 보이는 이유는 무엇이며, 모델 아키텍처나 데이터 증강 기법이 이를 완화할 수 있는가?
• RQ5 RNN을 통한 시간적 맥락 통합이 복강경 영상에서 프레임 단위 도구 존재 감지 성능 향상에 어느 정도 기여하는가?

주요 결과

• m2cai16-tool 데이터셋에서 훈련된 단일태스크 ToolNet은 평균 평균 정확도(mAP)가 52.5에 그쳐, 제한된 훈련 데이터로 인한 일반화 부족을 시사한다.
• 더 큰 Cholec80 데이터셋에서 피니팅된 ToolNet 모델은 상당히 높은 mAP 73.9를 기록하여 데이터 양의 강력한 영향을 입증한다.
• Cholec80에서 훈련된 다중태스크 EndoNet 모델은 최고의 mAP 74.2를 기록하였으며, 이는 단일태스크 ToolNet-Cholec80 모델 대비 근소한 향상에 그친다.
• m2cai16-tool 데이터셋에서 희귀 도구(가위: 17.0 mAP, 세척기: 12.5 mAP, 클리퍼: 43.6 mAP)의 성능 격차는 주로 훈련 샘플 부족과 자주 등장하는 도구(예: 그래퍼)와의 시각적 유사성 때문이었다.
• 본 연구는 다중태스크 학습보다 데이터 가용성이 도구 감지 성능 향상에 더 중요한 요소임을 결론 내리며, 특히 저빈도 도구에 대해 그러하다.
• 저자들은 향후 연구에서 RNN을 활용한 시간적 모델링을 탐색하여 영상 프레임 간의 순차적 맥락을 활용해 감지 성능 향상 가능성을 제안한다.