[논문 리뷰] Unsupervised identification of surgical robotic actions from small non homogeneous datasets

Daniele Meli, Paolo Fiorini|arXiv (Cornell University)|2021. 05. 18.

Surgical Simulation and Training참고 문헌 49인용 수 17

한 줄 요약

이 논문은 dVRK 링 이동 작업에서의 수술 로봇 동작을 식별하기 위해 운동학적 특징과 의미적 시각적 특징을 융합한 새로운 비지도 학습 알고리즘을 제안한다. 비균일한 소규모 데이터셋에서도 노이즈, 짧은 동작, 다양한 절차 흐름 조건에서도 기하학적 특징 추출과 강건한 클러스터링을 통해 기존 연구 대비 유의하게 높은 58%의 F1 스코어를 달성한다.

ABSTRACT

Robot-assisted surgery is an established clinical practice. The automatic identification of surgical actions is needed for a range of applications, including performance assessment of trainees and surgical process modeling for autonomous execution and monitoring. However, supervised action identification is not feasible, due to the burden of manually annotating recordings of potentially complex and long surgical executions. Moreover, often few example executions of a surgical procedure can be recorded. This paper proposes a novel fast algorithm for unsupervised identification of surgical actions in a standard surgical training task, the ring transfer, executed with da Vinci Research Kit. Exploiting kinematic and semantic visual features automatically extracted from a very limited dataset of executions, we are able to significantly outperform state-of-the-art results on a dataset of non-expert executions (58\% vs. 24\% F1-score), and improve performance in the presence of noise, short actions and non-homogeneous workflows, i.e. non repetitive action sequences.

연구 동기 및 목표

• 소규모 비균일한 수술 데이터셋에서 확장 가능하고 정확한 비지도 동작 식별의 부족을 해결한다.
• 짧은 동작, 노이즈 데이터, 다양한 절차 흐름을 다루는 데에 한계가 있는 기존 방법의 한계를 극복한다.
• 수동 레이블링 없이 운동학적 특징과 의미적 시각적 특징을 융합함으로써 강건한 동작 인식을 가능하게 한다.
• 해부학적 및 절차적 다양성이 있는 실제 수술 훈련 데이터에서 성능을 향상시킨다.

제안 방법

• 엔드 에프렉터 위치, 자세(쿼터니언), 그립퍼 각도 등을 포함한 16개의 운동학적 특징을 dVRK 로봇 궤적에서 추출한다.
• 색상 분할과 RANSAC 기반의 형태 인식을 사용해 RGB-D 영상 프레임에서 기하학적 특징(링/피크 위치, 기준 중심, 링 반경)을 자동으로 탐지한다.
• 이중 단계 접근법을 사용한다: 첫째, 새로운 분할 방법을 통해 실행 트레이스의 변화점(Changepoints)을 식별하고, 둘째, 하이브리드 특징 벡터를 사용한 k-NN 분류를 통해 세그먼트를 클러스터링한다.
• 운동학적 특징과 의미적 시각적 특징(예: 링 위치, 피크 점유율 등)을 특징 배열에 융합하여 동작 분류의 강건성을 향상시킨다.
• 강건성을 확보하기 위해 k=21의 k-NN 분류를 적용하며, 각 동작 유형에 맞게 특징 배열을 조정한다(예: move(A,center,C)에 대해 [f1,f2,f3]).
• 지속성 분석 및 동적 시간 왜곡과 같은 계산 비용이 큰 방법에 의존도를 최소화하여 계산 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 다양한 절차 흐름을 가진 소규모 비균일한 수술 데이터셋에서 비지도 동작 식별이 효과적으로 수행될 수 있는가?
• RQ2 의미적 시각적 특징을 통합할 경우 운동학적 특징만을 사용한 방법에 비해 동작 인식 정확도가 얼마나 향상되는가?
• RQ3 이 방법이 짧은 동작, 노이즈 데이터, 희귀한 동작 시퀀스에 대해 얼마나 일반화되는가?
• RQ4 이 알고리즘은 임상 및 훈련 응용에 적합한 실시간 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 비균일한 데이터셋에서 단지 네 번의 실행만으로도 기존 최고 성능(24% F1 스코어)에 비해 유의미하게 높은 58%의 F1 스코어를 달성한다.
• 어려운 'extract' 동작에 대해 77%의 F1 스코어와 100%의 정밀도를 기록했으며, 이는 이전 연구에서의 12.5% F1 스코어에 비해 뛰어난 성능이다.
• 비록 전체 데이터셋에서 다섯 번 뿐이지만 'move(A,center,C)' 동작의 F1 스코어는 40%로 향상되었고, 이는 이전 연구의 28.57%에 비해 개선된 결과이다.
• 알고리즘은 실행당 평균 0.45초(최대 0.58초)의 계산 시간으로 작동하여, 더 빠른 하드웨어를 사용하는 이전 방법이 최대 5초가 걸리는 것에 비해 뛰어난 성능을 보였다.
• 의미적 시각적 특징의 통합은 운동학적 변동성을 상쇄하여 노이즈 및 짧은 동작 지속 시간 조건에서도 강건한 분류를 가능하게 했다.
• 저빈도 운동학적 노이즈가 포함된 10회의 실행 데이터셋에서도 청소년 데이터셋과 유사한 성능을 유지하여 강건성을 입증했다.