[논문 리뷰] Autonomous Driving in the Lung using Deep Learning for Localization

Jake Sganga, David Eng외 2명|arXiv (Cornell University)|2019. 07. 16.

Advanced Neural Network Applications참고 문헌 24인용 수 7

한 줄 요약

이 논문은 사전 수술 CT 스캔을 사용하여 환자의 기도 내에서 내 endoscope의 실시간 영상 기반 국소화를 가능하게 하는 AirwayNet과 BifurcationNet이라는 딥러닝 모델을 제안한다. 시뮬레이션된 기관우 영상으로 훈련된 AirwayNet은 펌프 모형 데이터에서 AUPRC 0.97을 달성했으며, 시험의 95%에서 자율 주행을 실현하여 생검 타겟팅 정확도를 크게 향상시켰다.

ABSTRACT

Lung cancer is the leading cause of cancer-related death worldwide, and early diagnosis is critical to improving patient outcomes. To diagnose cancer, a highly trained pulmonologist must navigate a flexible bronchoscope deep into the branched structure of the lung for biopsy. The biopsy fails to sample the target tissue in 26-33% of cases largely because of poor registration with the preoperative CT map. To improve intraoperative registration, we develop two deep learning approaches to localize the bronchoscope in the preoperative CT map based on the bronchoscopic video in real-time, called AirwayNet and BifurcationNet. The networks are trained entirely on simulated images derived from the patient-specific CT. When evaluated on recorded bronchoscopy videos in a phantom lung, AirwayNet outperforms other deep learning localization algorithms with an area under the precision-recall curve of 0.97. Using AirwayNet, we demonstrate autonomous driving in the phantom lung based on video feedback alone. The robot reaches four targets in the left and right lungs in 95% of the trials. On recorded videos in eight human cadaver lungs, AirwayNet achieves areas under the precision-recall curve ranging from 0.82 to 0.997.

연구 동기 및 목표

• 사전 수술 CT 스캔과의 수술 중 정위치가 불량하여 발생하는 기관우 생검 실패율(26–33%)을 해결하기 위해.
• 실시간 영상 기반 국소화 시스템을 개발하여, 영상 피드만으로도 자율 기관우 주행을 가능하게 하기 위해.
• 기존 컴퓨터 비전 방법의 한계를 극복하기 위해, 낮은 무늬의 기도 영상과 특징 추적의 어려움을 견디는 데 기여하기 위해.
• 딥러닝과 입자 필터링을 융합하여 복잡한 분지형 기도 구조에서 안정적인 국소화를 실현하기 위해.
• 내시경에서의 시각 입력만을 사용하여 폐쇄 루프 로봇 기관우 수술의 가능성을 입증하기 위해.

제안 방법

• AirwayNet은 기관우 영상 프레임에서 기도 특성(예: 중심선, 분지점)을 추정하기 위해 ResNet-18 CNN을 사용하며, 이를 사전 수술 CT에 기반한 환자별 기도 골격으로 매핑한다.
• BifurcationNet은 촬영된 분지점과 CT 기반 분지점을 비교하기 위해 입자 필터를 활용하며, 적합도 확률과 삽입 깊이 및 이전에 관측된 기도에의 근접도를 기반으로 사전 확률를 평가한다.
• 적합도 확률은 측정된 기도 방향과 CT에서 유도된 자식 기도 방향 간의 코사인 각도 차이에 대해 정규 분포를 적용하여 계산되며, 최적의 롤 정렬은 순열 검색을 통해 수행된다.
• 사전 확률은 삽입 깊이의 가능성, 이전에 관측된 기도(1–3세대 이내)에의 근접도, 그리고 이전에 추정된 위치와 롤에 대한 공간 일관성을 통합한다.
• 입자 필터는 사후 확률이 최대인 분지점을 선택하여 실시간으로 기관우의 3차원 위치와 방향을 추정한다.
• 두 모델은 실제 데이터 수집 없이 환자별 CT 스캔에서 생성된 시뮬레이션 기관우 영상으로만 훈련된다.

실험 결과

연구 질문

• RQ1 내시경에서의 영상 프레임만을 사용하여 딥러닝 모델이 실시간으로 기관우를 정확하게 국소화할 수 있는가?
• RQ2 영상 기반 국소화 시스템이 분지형 기도 수목에서 자율 주행을 가능하게 하기 위해 충분한 정확도를 확보할 수 있는가?
• RQ3 딥러닝과 입자 필터링을 융합함으로써 기도 영상에서의 가림 및 모호한 특징에 대한 내성은 어떻게 향상되는가?
• RQ4 펌프 모형 및 시신 모형에서 시스템의 국소화 정확도와 자율 주행 성공률 측면에서의 성능은 어떠한가?
• RQ5 실제 환경에서의 캘리브레이션 없이 다양한 기도 기하학적 형태에 일반화될 수 있는가?

주요 결과

• AirwayNet은 펌프 모형 기관우 영상에서 AUPRC 0.97을 달성하여 다른 딥러닝 국소화 방법보다 뛰어난 성능을 보였다.
• AirwayNet을 사용하여 펌프 모형 기관우에서의 자율 주행은 95%의 시험에서 성공했으며, 좌우 폐의 네 개의 사전 정의된 타겟에 도달했다.
• 8개의 인간 시신 폐에서 AirwayNet은 AUPRC 값 범위가 0.82에서 0.997까지 다양했으며, 해부학적 다양성에 대한 강력한 일반화 능력을 입증했다.
• BifurcationNet의 입자 필터는 적합도 확률과 공간적·시간적 사전 정보를 융합하여 분지점 매칭의 모호함을 효과적으로 해결했으며, 국소화 안정성을 향상시켰다.
• 시스템은 실시간으로 작동하여 내시경에서의 시각 피드백만을 사용하여 폐쇄 루프 제어를 위한 로봇 기관우 수술을 가능하게 했다.
• 완전히 시뮬레이션된 영상으로만 훈련함으로써, 레이블이 찍힌 실제 기관우 영상 데이터가 필요 없이도 강력한 성능을 달성했다.