[논문 리뷰] DESK: A Robotic Activity Dataset for Dexterous Surgical Skills Transfer to Medical Robots

Naveen Madapana, M. K. Abd Rahman외 11명|arXiv (Cornell University)|2019. 03. 03.

Surgical Simulation and Training참고 문헌 34인용 수 3

한 줄 요약

이 논문은 시뮬레이션된 Taurus II 로봇, 실제 Taurus II 로봇, 그리고 YuMi 산업용 로봇에서 수행한 피크 전달 작업을 포함하는 다중 도메인 로봇 외과 데이터셋인 DESK를 소개한다. 시뮬레이션 데이터에서 실제 로봇 시스템으로의 전이 학습이 외과 동작 분류 정확도를 크게 향상시킴을 보여주며, 오직 시뮬레이션 데이터만으로는 55%의 정확도를 달성하고, 실제 데이터의 3%를 추가로 활용할 경우 34% 향상되는 결과를 얻었다. 이는 다양한 로봇 플랫폼 간의 기술 전이를 가능하게 한다.

ABSTRACT

Datasets are an essential component for training effective machine learning models. In particular, surgical robotic datasets have been key to many advances in semi-autonomous surgeries, skill assessment, and training. Simulated surgical environments can enhance the data collection process by making it faster, simpler and cheaper than real systems. In addition, combining data from multiple robotic domains can provide rich and diverse training data for transfer learning algorithms. In this paper, we present the DESK (Dexterous Surgical Skill) dataset. It comprises a set of surgical robotic skills collected during a surgical training task using three robotic platforms: the Taurus II robot, Taurus II simulated robot, and the YuMi robot. This dataset was used to test the idea of transferring knowledge across different domains (e.g. from Taurus to YuMi robot) for a surgical gesture classification task with seven gestures. We explored three different scenarios: 1) No transfer, 2) Transfer from simulated Taurus to real Taurus and 3) Transfer from Simulated Taurus to the YuMi robot. We conducted extensive experiments with three supervised learning models and provided baselines in each of these scenarios. Results show that using simulation data during training enhances the performance on the real robot where limited real data is available. In particular, we obtained an accuracy of 55% on the real Taurus data using a model that is trained only on the simulator data. Furthermore, we achieved an accuracy improvement of 34% when 3% of the real data is added into the training process.

연구 동기 및 목표

• 공개된 데이터셋이 부족한 da Vinci 외과 로봇 외의 로봇 플랫폼에 기인한 전이 학습의 한계를 해결하기 위해.
• 최소 침습 외과에서 시뮬레이션 시스템에서 실제 로봇 시스템으로 지식 전이를 가능하게 하기 위해.
• 다양한 로봇 형태와 도메인(시뮬레이션, 실제 Taurus II, 실제 YuMi) 간 전이 학습을 지원하는 벤치마크 데이터셋(DESK)을 개발하기 위해.
• 풍부한 시뮬레이션 데이터와 제한된 실제 데이터를 활용하여 전이 학습의 효과성을 평가하기 위해.
• 미래의 연구를 위한 기반을 마련하기 위해 도메인 적응, 실시간 수술 동작 감지, 외과 로봇 간 기술 전이 분야의 연구를 지원하기 위해.

제안 방법

• DESK 데이터셋은 세 가지 플랫폼을 사용하여 수집되었다: 시뮬레이션된 Taurus II 로봇, 실제 Taurus II 로봇, 실제 YuMi 산업용 로봇.
• 피크 전달 작업 동안 RGB-D 영상과 운동학적 데이터를 동기화하여 수술 동작을 기록하였다.
• 경계 상자 및 동작 경계를 위한 인간 검증을 포함한 색상 기반 영상 처리를 결합한 반자동 파이프라인을 사용하여 수술 동작 인스턴스를 주석 처리하였다.
• 분류 작업을 위해 운동학적 및 시각적 데이터에서 시퀀스 기반 및 프레임 기반 특징을 추출하였다.
• 세 가지 지도 학습 모델(SVM, Random Forest, MLP)을 사용하여 세 가지 전이 학습 시나리오(전이 없음, 시뮬레이션 → 실제 Taurus, 시뮬레이션 → YuMi)에서 학습 및 평가하였다.
• 모델을 시뮬레이션 데이터로 훈련하고, 다양한 양의 실제 로봇 데이터로 미세조정하여 성능 향상을 측정함으로써 전이 학습을 평가하였다.

실험 결과

연구 질문

• RQ1 제한된 실제 데이터가 존재할 때, 시뮬레이션으로 생성된 데이터가 실제 로봇 시스템에서의 동작 분류 정확도 향상에 효과적으로 기여할 수 있는가?
• RQ2 실제로 다른 로봇(예: Taurus에서 YuMi로)으로 전이할 경우, 전이 학습 성능는 어떻게 변화하는가?
• RQ3 시뮬레이션 전용 훈련에 소량의 실제 로봇 데이터를 추가했을 때 분류 정확도에 어떤 영향을 미치는가?
• RQ4 시퀀스 기반 특징 표현과 프레임 기반 특징 표현은 외과 동작 분류에서 전이 학습 성능에 어떤 영향을 미치는가?
• RQ5 시뮬레이션 데이터로 훈련된 모델이 사전 분할 처리 없이 실시간으로 수술 동작 경계를 감지할 수 있는가?

주요 결과

• 오직 시뮬레이션된 Taurus II 데이터로만 훈련된 모델이 실제 Taurus II 로봇 데이터에서 수술 동작을 55%의 정확도로 분류하여, 시뮬레이션에서 현실으로의 제로샷 전이가 효과적임을 입증하였다.
• 시뮬레이션 훈련 데이터에 실제 Taurus II 데이터의 3%만 추가로 활용했을 때 분류 정확도가 34% 향상되어, 소량의 실제 세계 데이터가 미세조정에 매우 유용함을 시사하였다.
• 시뮬레이션된 Taurus에서 YuMi 로봇으로 전이할 경우 성능이 떨어졌으며(80% 정확도를 달성하기 위해 α=0.3 필요), Taurus로의 전이(α=0.12)에 비해 더 큰 도메인 차이가 있음을 나타내었다.
• 시퀀스 기반 특징 표현이 프레임 기반 특징 표현보다 전이 학습 과제에서 더 뛰어난 성능을 보였으며, 이는 시간적 맥락이 정확한 동작 인식에 핵심적임을 시사한다.
• 프레임 기반 분류 방법은 실시간 응용에 유망한 것으로 나타났다. 이는 사전 분할된 수술 동작 경계가 필요로 하지 않기 때문에, 동작 시작 및 종료 지점의 온라인 감지를 가능하게 한다.
• 데이터셋과 코드는 https://github.com/nmadapan/Forward_Project.git 에 공개되어 있어, 향후 교차 로봇 전이 학습 및 실시간 외과 스킬 인식 연구를 지원한다.