[논문 리뷰] Deep Reinforcement Learning for Surgical Gesture Segmentation and Classification

Daochang Liu, Tingting Jiang|arXiv (Cornell University)|2018. 06. 21.

Human Pose and Action Recognition참고 문헌 2인용 수 14

한 줄 요약

이 논문은 깊이 강화학습 프레임워크를 제안하여 수술 자세의 분할과 분류를 동시에 수행하며, 속도와 정확도의 균형을 고려해 순차적 결정 문제로 모델링한다. 행동과 보상 설계를 통해 시간적 일관성을 명시적으로 강제함으로써 JIGSAWS 데이터셋에서 최고의 에디트 스코어를 달성하며, 이는 이전 방법들을 능가하면서도 경쟁적인 프레임 단위 정확도를 유지한다.

ABSTRACT

Recognition of surgical gesture is crucial for surgical skill assessment and efficient surgery training. Prior works on this task are based on either variant graphical models such as HMMs and CRFs, or deep learning models such as Recurrent Neural Networks and Temporal Convolutional Networks. Most of the current approaches usually suffer from over-segmentation and therefore low segment-level edit scores. In contrast, we present an essentially different methodology by modeling the task as a sequential decision-making process. An intelligent agent is trained using reinforcement learning with hierarchical features from a deep model. Temporal consistency is integrated into our action design and reward mechanism to reduce over-segmentation errors. Experiments on JIGSAWS dataset demonstrate that the proposed method performs better than state-of-the-art methods in terms of the edit score and on par in frame-wise accuracy. Our code will be released later.

연구 동기 및 목표

• 기존 수술 자세 분할 방법에서 흔히 발생하는 과다 분할 문제를 해결하여 최적의 에디트 스코어를 도출한다.
• 프레임 단위 정확도와 세그먼트 수준의 에디트 스코어를 통합한 유일한 학습 목표로 함께 자세 분할 및 분류를 향상시킨다.
• 강화학습을 사용해 수술 자세 인식을 순차적 결정 문제로 모델링하여 인간과 유사한 분할 행동을 모방한다.
• RNN이나 TCN의 암묵적 메모리에 의존하지 않고, 구조화된 행동과 보상 설계를 통해 분할 결정의 시간적 일관성을 명시적으로 강제한다.
• 시간 컨volution 네트워크(TCN)에서 유도된 계층적 특징이 강화학습 에이전트의 상태 표현으로서 효과적인지 검증한다.

제안 방법

• 작업은 에이전트가 사전에 훈련된 TCN에서 유도된 상태 표현을 기반으로 행동(분할 단계)을 선택하는 마르코프 결정 과정(MDP)으로 공식화된다.
• 행동 공간은 이산적인 스텝 크기(예: 4, 21 프레임)를 포함하여, 에이전트가 자세 내부를 빠르게 스캔하고 경계를 신중히 분석할 수 있도록 한다.
• 보상 함수는 두 항으로 구성되며, 하나는 프레임 단위 분류 정확도를 위한 것이고, 다른 하나는 세그먼트 수준의 에디트 스코어를 최대화하기 위한 것으로, 정밀도와 정확한 분할 경계를 동시에 장려한다.
• 시간적 일관성은 통계 모델의 향후 프레임 특징과 전이 확률을 상태 표현에 통합하여 강제한다.
• 정책 네트워크는 누적 할인 보상 최대화를 위해 깊이 강화학습을 사용해 훈련되며, 정확도와 에디트 스코어 양측을 최적화한다.
• 계층적 특징은 TCN 인코더에서 유도되며, 최종 레이어 활성화값(32D)이 에이전트의 상태 표현으로 사용된다.

실험 결과

연구 질문

• RQ1 강화학습이 감독 학습 기반의 딥러닝 기준보다 수술 자세 분할 및 분류 성능을 향상시키기 위해 효과적으로 적용될 수 있는가?
• RQ2 행동과 보상 설계를 통해 시간적 일관성을 명시적으로 모델링하면 자세 인식에서 과다 분할 오류가 감소하는가?
• RQ3 재귀적 또는 컨volution 메모리에 의존하지 않고도 RL로 학습된 정책이 인간과 유사한 분할 행동—자세 중심에서는 빠르게 스캔하고 경계에서는 느리게 움직이는 행동—을 학습할 수 있는가?
• RQ4 시간적 일관성에 기여하는 상태 표현의 다양한 구성 요소(예: 향후 특징, 전이 확률)가 최종 성능에 어떤 기여를 하는가?
• RQ5 이산 스텝 크기를 가진 이진 행동 공간이 정확도와 에디트 스코어의 균형을 맞추는 데 있어 연속적 또는 고정 스텝 접근보다 우수한가?

주요 결과

• 제안된 방법은 JIGSAWS 수술 작업의 영상 데이터에서 87.96, 운동 데이터에서 87.86의 세그먼트 수준 에디트 스코어를 기록하며, 모든 이전 SOTA 방법을 능가한다.
• 에디트 스코어 향상과 함께 높은 프레임 단위 정확도(영상: 81.43%, 운동: 82.07%)를 유지하여 두 지표 간의 유리한 트레이드오���을 보여준다.
• 절단 실험 결과 상태 표현의 모든 구성 요소—특히 계층적 TCN 특징—이 최적의 성능을 위해 필수적임을 확인한다.
• 다양한 스텝 크기 실험 결과, 더 큰 스텝(예: 16, 32)은 일정 범위까지 에디트 스코어 향상을 이끌지만, 너무 크면 정확도가 떨어지므로 이산적이고 적응 가능한 스텝 크기의 유용성을 입증한다.
• 스텝 히스토리 시각화 결과, 에이전트가 자세 중심에서는 큰 스텝을, 경계에서는 작은 스텝을 취하는 것으로 확인되어 인간의 분할 직관을 모방함을 확인한다.
• 영상 데이터에서는 F1 스코어 92.0(10% IoU 기준), 운동 데이터에서는 91.1을 기록하여 경계 탐지 능력의 우수성을 추가로 확인한다.