[논문 리뷰] Ultrasound-Guided Robotic Navigation with Deep Reinforcement Learning

Hannes Hase, Mohammad Farid Azampour외 5명|arXiv (Cornell University)|2020. 03. 30.

Robotic Path Planning Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 실시간 초음파(US) 영상을 입력으로 사용하여 천골로 자율 주행하는 데 심층 강화학습(DRL) 프레임워크를 제안한다. 메모리 증강 DQN과 정지 동작을 결정하는 이진 분류기의 조합을 통해, 미리 보지 못한 시뮬레이션 환경에서 165개의 시작 위치에서 천골에 도달하는 데 82.91%의 성공률을 달성하였으며, 순수 DRL 및 지도학습 기반 베이스라인 대비 정책 정확도에서 20–30% 향상되고 도달 가능성에서 40–60% 향상되었다.

ABSTRACT

In this paper we introduce the first reinforcement learning (RL) based robotic navigation method which utilizes ultrasound (US) images as an input. Our approach combines state-of-the-art RL techniques, specifically deep Q-networks (DQN) with memory buffers and a binary classifier for deciding when to terminate the task. Our method is trained and evaluated on an in-house collected data-set of 34 volunteers and when compared to pure RL and supervised learning (SL) techniques, it performs substantially better, which highlights the suitability of RL navigation for US-guided procedures. When testing our proposed model, we obtained a 82.91% chance of navigating correctly to the sacrum from 165 different starting positions on 5 different unseen simulated environments.

연구 동기 및 목표

• 초음파 영상 입력만을 사용하여 종단간 자율 로봇 주행 시스템을 개발하기 위해.
• 로봇 가이던스를 위한 초음파 영상에서 낮은 신호 대 잡음비, 영상 아티팩트, 높은 관찰자 간 변동성을 극복하기 위해.
• 희박하고 고벌점 보상이 주어지는 강화학습 환경에서 최적의 정지 동작을 학습하는 데 어려움이 있기 때문에 이를 해결하기 위해.
• 이진 분류기를 통한 하이브리드 학습을 통해 새로운 해부학적 환경에서의 일반화 및 내성 향상을 위해.
• 최소한의 인간 간섭으로 실시간, 방사선 없이 초음파 가이던스를 받는 절차에 강화학습 기반 주행의 타당성을 입증하기 위해.

제안 방법

• 희박 보상 주행 환경에서 학습 안정성과 샘플 효율성을 향상시키기 위해 우선순위 경험 재생을 사용한 메모리 증강 딥 Q-네트워크(M-DQN)를 훈련시켰다.
• 순수 DRL에서 '정지' 동작의 난이도가 높고 보상이 희박하여 학습이 어려운 점을 해결하기 위해, 에이전트가 주행을 중단해야 할 시점을 예측하는 이진 분류기를 통합하였다.
• DQN 정책와 분류기를 조합하여 하이브리드 의사결정 시스템을 구성하였다: DQN은 상태-가치 추정에 기반해 동작을 선택하고, 분류기는 작업 완료 여부를 결정한다.
• 34명의 자발적 기부자로부터 확보한 내부 초음파 데이터를 기반으로 한 시뮬레이션 환경을 사용하여 다양한 해부학적 변형에서 에이전트를 훈련 및 평가하였다.
• 행동 선택을 안내하기 위해 상태-가치 및 이점-가치 추정을 사용하였으며, MS-DQN 변종은 상태-가치 추정 정확도가 향상됨을 보였다.
• 틀린 동작에 대한 벌점과 천골에 가까워질수록 보상이 주어지며, 정확한 정지 시 큰 양의 보상을 주는 보상 함수를 사용하여 시스템을 훈련시켰다.

실험 결과

연구 질문

• RQ1 순수한 원시 초음파 영상만을 입력으로 사용할 때, 심층 강화학습이 초음파 가이던스를 받는 로봇 주행에 효과적으로 적용될 수 있는가?
• RQ2 정지 결정을 위한 이진 분류기의 통합이 순수 DRL 대비 희박 보상 주행 과제에서 성능을 얼마나 향상시키는가?
• RQ3 DQN 아키텍처 내 메모리가 새로운 시뮬레이션 환경에서 정책 안정성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 하이브리드 DRL-SL 접근법은 순수 DQN 및 지도학습 기반 분류기 베이스라인 대비 성공률과 내성 면에서 어떻게 비교되는가?
• RQ5 초음파 영상의 외관에 높은 변동성이 존재함에도 불구하고, 다양한 해부학적 구조와 새로운 환경에서 일반화가 가능한가?

주요 결과

• 제안된 방법은 5개의 새로운 시뮬레이션 환경에서 165개의 다른 시작 위치에서 천골에 도달하는 데 82.91%의 성공률을 기록하였다.
• 이진 분류기를 통합한 하이브리드 DQN은 순수 DQN(V-DQN 및 M-DQN) 대비 정책 정확도에서 20–30% 향상되고 도달 가능성에서 40–60% 향상되었다.
• 이진 분류기의 통합은 '정지' 동작 학습의 과제를 크게 완화시켰으며, 초기 탐색 단계에서 이 동작이 흔히 잘못 실행되거나 보상이 매우 높은 난이도를 지닌 점을 해결하였다.
• MS-DQN 변종은 실제 값에 가장 가까운 상태-가치 추정을 도출하여 환경 상태 이해도가 향상됨을 나타내었다.
• 지도학습 기반 베이스라인은 루프 형성 및 목표 도달 문제를 겪는 데 반해, 제안된 방법은 새로운 환경으로의 일반화 능력이 뛰어났다.
• 결과는 희박 보상이 주어지는 복잡한 실생활 의료 주행 과제에서 순수 RL 또는 SL만으로는 부족하고, 하이브리드 DRL-SL 접근법이 더 효과적임을 확인하였다.