[논문 리뷰] Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search

Xiaojie Gao, Yueming Jin외 2명|arXiv (Cornell University)|2020. 02. 20.

Human Pose and Action Recognition참고 문헌 36인용 수 13

한 줄 요약

이 논문은 봉합 수술에서 로봇 보조 수술의 자동 수술 자세 인식을 위한 강화 학습 및 트리 탐색 프레임워크를 제안한다. 이는 빠른 결정을 위한 정책 네트워크와 후행 탐색을 통한 정교한 예측을 위한 가치 네트워크를 결합한다. 이 방법은 JIGSAWS 봉합 작업에서 최신 기술 수준(SOTA)의 성능을 달성하여, 정확도, 에디트 스코어, F1 스코어에서 이전 방법들을 능가한다. 이는 양 네트워크에서 유래한 상호 보완적 정보를 활용함으로써 달성된다.

ABSTRACT

Automatic surgical gesture recognition is fundamental for improving intelligence in robot-assisted surgery, such as conducting complicated tasks of surgery surveillance and skill evaluation. However, current methods treat each frame individually and produce the outcomes without effective consideration on future information. In this paper, we propose a framework based on reinforcement learning and tree search for joint surgical gesture segmentation and classification. An agent is trained to segment and classify the surgical video in a human-like manner whose direct decisions are re-considered by tree search appropriately. Our proposed tree search algorithm unites the outputs from two designed neural networks, i.e., policy and value network. With the integration of complementary information from distinct models, our framework is able to achieve the better performance than baseline methods using either of the neural networks. For an overall evaluation, our developed approach consistently outperforms the existing methods on the suturing task of JIGSAWS dataset in terms of accuracy, edit score and F1 score. Our study highlights the utilization of tree search to refine actions in reinforcement learning framework for surgical robotic applications.

연구 동기 및 목표

• 로봇 보조 수술에서 장기적 의존성과 미래의 맥락을 忽시하는 프레임 단위 자세 인식 방법의 한계를 해결하기 위해.
• 결정 과정에 미래 정보를 통합하여 수술 자세 인식의 세그먼트 수준 성능을 향상시키기 위해.
• 이중 네트워크 강화 학습 프레임워크를 통해 희귀하거나 모호한 자세에 대한 네트워크 혼동을 줄이고 강건성을 향상시키기 위해.
• 정책 네트워크의 결정을 가치 네트워크의 안내와 트리 탐색을 통해 향상시키는 일반화된, 탐색 기반의 접근법을 개발하기 위해.
• 스킬 평가 및 자율 수술과 같은 애플리케이션을 위해 수술 영상 분석에서 맥락 인식이 가능하고 인간과 유사한 의사결정을 가능하게 하기 위해.

제안 방법

• 프레임워크는 영상 시퀀스에서 수술 자세를 세그먼트화하고 분류하도록 훈련된 딥 강화 학습 에이전트를 사용한다.
• 정책 네트워크는 현재 관측치에 기반해 각 프레임에 대한 초기 빠른 동작 예측을 제공한다.
• 가치 네트워크는 동작 시퀀스의 장기적 품질을 평가하여 결정에 대한 보다 종합적인 평가를 제공한다.
• 트리 탐색은 미래의 동작 시퀀스를 탐색하기 위해 사용되며, 정책 네트워크의 신뢰도를 사전으로 사용해 탐색 공간을 안내한다.
• 탐색 과정은 양 네트워크의 예측을 통합한다: 정책 네트워크는 탐색 방향을 좁히고, 가치 네트워크는 최적의 결과를 얻기 위한 동작 시퀀스를 평가한다.
• 최종 동작은 트리 탐색을 통해 식별된 최상의 경로에 따라 선택되며, 이는 정책 네트워크 단독으로 잘못된 결정을 수정한다.

실험 결과

연구 질문

• RQ1 정책 네트워크와 트리 탐색을 결합한 강화 학습 프레임워크는 단일 프레임 분류 대비 세그먼트 수준의 수술 자세 인식 성능을 향상시킬 수 있는가?
• RQ2 정책 네트워크와 가치 네트워크를 통합함으로써, 특히 희귀하거나 모호한 자세에 대해 의사결정의 강건성이 어떻게 향상되는가?
• RQ3 트리 탐색을 통한 후행 추론은 네트워크 혼동으로 인한 오류를 어느 정도 감소시키는가?
• RQ4 미래 프레임를 고려하는 탐색 기반 방법은 수술 영상 분할의 정확도와 에디트 스코어를 향상시킬 수 있는가?
• RQ5 정책 네트워크와 가치 네트워크의 협업은 각각을 별도로 사용할 경우보다 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 JIGSAWS 봉합 작업에서 정확도 81.67%, 에디트 스코어 88.53%, F1 스코어 92.68%(IoU=10%)를 달성하여 모든 베이스라인 방법을 능가했다.
• 정책 네트워크 단독으로는 81.52%의 정확도와 87.87%의 에디트 스코어를 기록했고, 가치 네트워크 단독으로는 80.91%의 정확도와 88.34%의 에디트 스코어를 기록하여 상호 보완적인 강점이 확인되었다.
• 트리 탐색은 정책 네트워크 단독 대비 정확도 0.15%p, 에디트 스코어 0.66%p, F1 스코어 0.46%p 향상시켰다 (IoU=10%).
• 영상 처리 시간은 25.4초(10회 트리 탐색 반복)였으며, 6.2초의 베이스라인 대비 3.3배 증가했지만 온라인 응용에 있어서는 실용적이다.
• 그림 4에서 시각적으로 확인된 바와 같이, 프레임 단독으로 감지하지 못한 자세를 프레임워크가 성공적으로 복구했다.
• 트리 탐색과 이중 네트워크의 통합은 이전 방법에서 흔히 발생하는 과다 세그먼테이션 및 혼동 문제를 크게 감소시켰다.