[논문 리뷰] AutoSNAP: Automatically Learning Neural Architectures for Instrument Pose Estimation

David Kügler, Marc Uecker외 2명|arXiv (Cornell University)|2020. 06. 26.

Surgical Simulation and Training참고 문헌 20인용 수 2

한 줄 요약

AutoSNAP는 복잡한 수술 기구 자세 추정 작업을 위한 최적화된 딥러닝 아키텍처를 자동으로 탐색하는 자동화된 신경망 아키텍처 탐색 프레임워크이다. CAI 전용 테스트 환경, 기호적 신경망 아키텍처 패턴(SNAP) 표현 방식, 그리고 오토에인코더를 통한 잠재공간 최적화를 조합함으로써 AutoSNAP는 i3PosNet 및 DARTS와 같은 최신 기법들보다 33퍼센트 이상의 오차 감소를 달성한 SNAPNet을 발견하였다.

ABSTRACT

Despite recent successes, the advances in Deep Learning have not yet been fully translated to Computer Assisted Intervention (CAI) problems such as pose estimation of surgical instruments. Currently, neural architectures for classification and segmentation tasks are adopted ignoring significant discrepancies between CAI and these tasks. We propose an automatic framework (AutoSNAP) for instrument pose estimation problems, which discovers and learns the architectures for neural networks. We introduce 1)~an efficient testing environment for pose estimation, 2)~a powerful architecture representation based on novel Symbolic Neural Architecture Patterns (SNAPs), and 3)~an optimization of the architecture using an efficient search scheme. Using AutoSNAP, we discover an improved architecture (SNAPNet) which outperforms both the hand-engineered i3PosNet and the state-of-the-art architecture search method DARTS.

연구 동기 및 목표

• 수술 유도 보조 장치(CAI) 작업, 예를 들어 기구 자세 추정과 같은 도메인 특화 신경망 아키텍처 설계의 부족을 해결한다.
• 일반 컴퓨터 비전에서 유래한 사전 학습된 아키텍처를 도입하는 데서 비롯하는 한계를 극복한다. 이러한 아키텍처는 소규모이고 희소하게 애너테이션된 CAI 데이터셋에서 회귀 작업에 최적화되어 있지 않다.
• CAI의 고유한 요구사항, 예를 들어 합성 데이터 학습 및 자세 회귀를 고려한 자원 제약이 있는 효율적인 NAS 프레임워크를 개발한다.
• 차별 가능한 탐색 공간을 통해 아키텍처 표현과 성능를 연결함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 수작업으로 설계된 모델(i3PosNet 등)과 기존의 NAS 방법(DARTS 등)을 모두 초월하는 자세 추정 정확도를 달성한다.

제안 방법

• 실시간 성능 평가를 위한 효율적이고 CAI 전용의 테스트 환경을 도입한다. 이 환경은 합성 X-ray 영상과 정답 자세 애너테이션을 사용한다.
• 기본적으로 정의된 연산(예: Conv, DW-Conv, Max-Pool, 스킵 연결 등)을 사용하여 신경 블록을 압축하고 확장 가능하며 인간이 이해할 수 있는 방식으로 표현하는 기호적 신경망 아키텍처 패턴(SNAP)을 제안한다.
• SNAP을 연속적인 잠재공간으로 매핑하기 위해 오토에인코더를 활용함으로써 이산적 탐색 대신 기울기 기반 최적화를 가능하게 한다.
• 재구성 손실과 테스트 환경에서 실시간으로 추출한 회귀 지표를 활용한 성능 예측기 손실을 포함하는 다중 구성 요소 손실을 오토에인코더에서 학습한다.
• 잠재공간 내에서 기울기 상승을 통해 아키텍처 탐색을 수행하며, 재학습 없이도 성능을 예측하는 값 추정기(−log10(regMSE))에 의해 안내된다.
• 이산적 NAS의 유연성과 연속적 NAS의 효율성을 조합한 하이브리드 탐색 전략을 사용하여, 탐색 중 전체 학습의 계산 부담을 피한다.

실험 결과

연구 질문

• RQ1 기계적 수술에서의 기구 자세 추정과 같은 도전 과제(소규모 합성 데이터셋, 회귀 작업 등)에 대해 신경망 아키텍처 탐색 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 기호적이고 인간이 읽을 수 있는 아키텍처 표현 방식(SNAP)이 성능를 유지하면서도 효율적이고 해석 가능한 탐색을 가능하게 하는가?
• RQ3 오토에인코더를 통한 학습된 잠재공간에서의 최적화가 랜덤 탐색이나 이산적 탐색에 비해 상당히 효율성이 향상되는가?
• RQ4 AutoSNAP가 i3PosNet과 같은 수작업 모델과 DARTS와 같은 최신 기술의 NAS 방법을 모두 초월하는 자세 추정 성능을 갖는 아키텍처를 발견할 수 있는가?
• RQ5 AutoSNAP가 발견한 아키텍처(SNAPNet)의 성능는 합성 및 실제 X-ray 영상 모두에서 기준 모델 대비 어떻게 비교되는가?

주요 결과

• AutoSNAP는 i3PosNet 및 DARTS와 같은 최신 기술보다 회귀 오차를 33퍼센트 이상 감소시킨 새로운 아키텍처인 SNAPNet을 발견하였다.
• 최고 성능 아키텍처는 10 GPU 시간 이내에 발견되었으며, 이는 랜덤 탐색 및 DARTS 대비 매우 높은 탐색 효율성을 보여준다.
• SNAPNet은 합성 및 실제 X-ray 영상 모두에서 i3PosNet과 DARTS∗를 능가하며, 실제 영상의 경우 신뢰구간 폭이 90~95퍼센트 감소하여 안정성 향상을 확인하였다.
• 자동 탐색 과정에서 25번째로 성능이 좋은 아키텍처조차도 랜덤 탐색에서 발견된 최고 성능 아키텍처를 초월하여, 잠재공간 최적화의 효과를 입증하였다.
• 탐색 과정에서 사용된 값 지표(−log10(regMSE))는 실제 성능과 강한 상관관계를 보이며, 오토에인코더 내의 대체 성능 예측기의 타당성을 검증하였다.
• SNAPNet-B(56/112 특징 채널)의 전체 재학습 결과는 i3PosNet 및 DARTS∗를 뛰어넘는 뛰어난 성능을 보였으며, 이는 발견된 아키텍처의 확장성과 일반화 능력을 확인하였다.