[논문 리뷰] Tool and Phase recognition using contextual CNN features

Manish Sahu, Anirban Mukhopadhyay외 2명|arXiv (Cornell University)|2016. 10. 27.

Surgical Simulation and Training참고 문헌 1인용 수 30

한 줄 요약

이 논문은 ImageNet에서 추출한 문맥적 CNN 특징을 활용한 전이 학습 기반 방법을 제안하여 수술 기구 및 수술 단계 인식을 향상시킨다. 미세 조정된 AlexNet 특징과 가우시안 분포를 통한 시간적 모델링, 다중 클래스 랜덤 포레스트 분류를 조합함으로써 하드 음성 마이닝을 통한 성능 향상으로 M2CAI16 챌린지 데이터셋에서 단계 인식에 대해 평균 F1 스코어 53.13을 달성하였고, 기구 검출에 대해 평균 AP는 54.5%를 기록하였다.

ABSTRACT

A transfer learning method for generating features suitable for surgical tools and phase recognition from the ImageNet classification features [1] is proposed here. In addition, methods are developed for generating contextual features and combining them with time series analysis for final classification using multi-class random forest. The proposed pipeline is tested over the training and testing datasets of M2CAI16 challenges: tool and phase detection. Encouraging results are obtained by leave-one-out cross validation evaluation on the training dataset.

연구 동기 및 목표

• 문맥 인식 수술 시스템을 위한 완전 자동 수술 단계 인식의 과제를 해결한다.
• EndoNet과 같은 기존 전이 학습 방법을 개선하기 위해 문맥적 및 시간적 정보를 통합한다.
• 가우시안 분포를 활용한 수술 단계의 시간적 순서 모델링을 통해 단계 인식 정확도를 향상시킨다.
• 하드 음성 마이닝을 통한 이중 단계 랜덤 포레스트 분류로 시간적으로 떨어진 단계 간 오분류를 줄인다.
• 제한된 훈련 데이터에서 CNN 특징과 시계열 분석을 활용한 기구 및 단계 인식을 위한 강력한 파ip라인을 개발한다.

제안 방법

• ImageNet의 사전 훈련된 가중치를 사용하여 AlexNet을 모티프로 하는 CNN 아키텍처를 미세 조정하여 수술 기구 검출을 수행하며, 추가로 '기구 없음' 클래스를 포함한다.
• CNN의 'fc7' 레이어에서 특징을 추출하고, 이전 10개 시간 포인트의 특징을 연결하여 문맥적 특징을 생성한다.
• 세 개의 가우시안 분포를 사용하여 시간적 유사도 기반으로 단계를 그룹화함으로써 수술 단계의 시간적 전이를 모델링한다 (초기, 중간, 종료 단계).
• 초기 단계 예측을 위해 CNN 특징에 다중 클래스 랜덤 포레스트 분류를 적용한 후, 단계별 분류기와 함께 하드 음성 마이닝 단계를 수행한다.
• 시계열 예측 결과와 초기 랜덤 포레스트 출력을 융합하여 단계별 랜덤 포레스트를 활용해 최종 단계 분류를 정밀화한다.
• M2CAI16 훈련 데이터셋 평가를 위해 떼어낸 영상 하나를 제외한 교차 검증을 적용한다.

실험 결과

연구 질문

• RQ1 문맥적 CNN 특징은 표준 전이 학습을 초월하여 수술 기구 및 단계 인식 성능을 향상시킬 수 있는가?
• RQ2 가우시안 분포를 활용한 수술 단계의 시간적 순서 모델링은 분류 정확도에 어떤 영향을 미치는가?
• RQ3 단계별 랜덤 포레스트를 활용한 하드 음성 마이닝은 유사하거나 인접한 단계 간 오분류를 줄일 수 있는가?
• RQ4 문맥적 특징과 시계열 모델링은 제한된 수술 영상 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ5 EndoNet과 같은 기준 전이 학습 접근법에 비해 제안된 방법은 기구 및 단계 인식 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 M2CAI16 기구 검출 챌린지 훈련 데이터셋에서 평균 평균 정확도(AP) 54.5%를 달성하였다.
• 가위 검출의 경우 AP가 26.2%로 가장 낮았으며, 이는 EndoNet과 같은 이전 연구 결과와 일치한다.
• 준비 단계의 F1 스코어가 39.59%로 가장 낮아 초기 수술 단계 인식에 어려움이 있음을 시사한다.
• 전체 평균 F1 스코어는 모든 단계에서 53.13%로, 도전적인 데이터셋에서 중간 수준의 성능을 보였다.
• 트로카르 배치 단계는 F1 스코어가 78.07%로 가장 높아 초기 절차 단계의 구분성이 뛰어나다는 것을 시사한다.
• 하드 음성 마이닝을 통한 이중 단계 분류로 인해 학습 중 인접한 단계에 집중함으로써 단계 예측의 국소화 성능이 향상되었다.