[논문 리뷰] Joint Surgical Gesture and Task Classification with Multi-Task and Multimodal Learning

Duygu Sarıkaya, Khurshid A. Guru외 1명|arXiv (Cornell University)|2018. 05. 02.

Human Pose and Action Recognition참고 문헌 20인용 수 15

한 줄 요약

이 논문은 라이다 수술 영상에서 시각(색상) 및 운동(광학 흐름) 특징을 모두 사용하여 저수준 수술 제스처와 수술 작업을 동시에 분류하는 다중 작업, 다중 모odal 딥 러닝 아키텍처를 제안한다. 양 모odal에서 추출한 컨볼루션 네트워크(CNN) 특징을 융합하고, 이를 장기 단기 기억(LSTM) 네트워크를 통해 시간 동적성을 모델링함으로써, 평균 평균 정밀도(MAP) 50.83%를 달성하였으며, 이는 단일 모달, 단일 작업 기반 모델 대비 22% 향상된 성능이다.

ABSTRACT

We propose a novel multi-modal and multi-task architecture for simultaneous low level gesture and surgical task classification in Robot Assisted Surgery (RAS) videos.Our end-to-end architecture is based on the principles of a long short-term memory network (LSTM) that jointly learns temporal dynamics on rich representations of visual and motion features, while simultaneously classifying activities of low-level gestures and surgical tasks. Our experimental results show that our approach is superior compared to an ar- chitecture that classifies the gestures and surgical tasks separately on visual cues and motion cues respectively. We train our model on a fixed random set of 1200 gesture video segments and use the rest 422 for testing. This results in around 42,000 gesture frames sampled for training and 14,500 for testing. For a 6 split experimentation, while the conventional approach reaches an Average Precision (AP) of only 29% (29.13%), our architecture reaches an AP of 51% (50.83%) for 3 tasks and 14 possible gesture labels, resulting in an improvement of 22% (21.7%). Our architecture learns temporal dynamics on rich representations of visual and motion features that compliment each other for classification of low-level gestures and surgical tasks. Its multi-task learning nature makes use of learned joint re- lationships and combinations of shared and task-specific representations. While benchmark studies focus on recognizing gestures that take place under specific tasks, we focus on recognizing common gestures that reoccur across different tasks and settings and significantly perform better compared to conventional architectures.

연구 동기 및 목표

• 일부 수술 작업에 국한되지 않고 여러 수술 작업에 반복적으로 나타나는 공통된 저수준 수술 제스처를 인식하는 데 도전하는 것.
• 시각적 및 운동적 모달을 활용하여 제스처와 작업의 시간 동적성을 함께 모델링하여 분류 성능을 향상시키는 것.
• 기존 벤치마크가 단일 작업 내 제스처에 대해서만 학습 및 테스트하는 한계를 극복하기 위해, 통합된 프레임워크를 통해 14개의 모든 제스처에 대한 일반화를 가능하게 하는 것.
• 제스처 분류와 작업 분류 간의 공유 표현을 활용하여 특징 학습을 강화하고 과적합을 줄이는 다중 작업 학습을 활용하는 것.

제안 방법

• 모델은 두 개의 병렬 스트림을 사용한다: 하나는 시각적 특징을 위해 RGB 프레임을 처리하고, 다른 하나는 운동 신호를 위해 RGB로 인코딩된 광학 흐름을 처리한다.
• 시각적 및 운동적 모달에서 고수준 특징은 각각 제스처 및 작업 분류 작업에 대해 별도로 훈련된 사전 훈련된 컨볼루션 신경망(CNN)을 통해 추출된다.
• 양 모달에서 CNN 처리된 특징은 다중 모달 표현을 형성하기 위해 결합된 후, 장기 단기 기억(LSTM) 네트워크에 입력된다.
• LSTM은 연속된 영상 프레임의 시간 동적성을 모델링하여 제스처 및 작업 전환의 순차적 의존성을 포착한다.
• 아키텍처는 다중 작업 학습을 활용하여 공유 표현과 작업별 특화 표현을 함께 최적화하여 제스처 및 작업 분류를 동시에 수행한다.
• 데이터 증강에는 무작위 컷 및 수평 반전이 포함되며, 입력 프레임은 훈련 및 추론 시 240×320 크기로 조정된다.

실험 결과

연구 질문

• RQ1 단일 모달, 단일 작업 접근 방식에 비해 다중 모달, 다중 작업 학습 프레임워크가 저수준 수술 제스처와 수술 작업의 공동 분류 성능을 향상시킬 수 있는가?
• RQ2 시각적 및 운동적 특징을 융합하면 다양한 수술 작업에 걸쳐 반복되는 공통 제스처의 인식 성능가 향상되는가?
• RQ3 제스처 및 작업 분류 간의 공유 표현 학습이 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 다중 모달 특징에 대해 LSTMs를 활용한 시간 모델링이 순차적 동적성을 忽시하는 모델보다 성능 향상에 기여하는가?

주요 결과

• 제안된 다중 작업, 다중 모달 모델은 422개의 제스처 영상 세그먼트로 구성된 테스트 세트에서 평균 평균 정밀도(MAP) 50.83%를 달성하였으며, 이는 단일 작업, 단일 모달 기반 모델의 29.13%보다 뚜렷이 높은 성능이다.
• 여섯 개의 무작위 분할에 걸쳐 평균 22% 향상되었으며, 개별 개선률은 18%에서 26% 사이로, 일관되고 강력한 성능 향상을 보였다.
• 모델는 세 가지 수술 작업(Suturing, Knot Tying, Needle Passing)에 걸쳐 14개의 공통 저수준 제스처를 인식함으로써 강력한 일반화 능력을 보였으며, 기존 벤치마크가 작업별 특화 제스처에 국한되는 것과 대비된다.
• 모델는 시각적 및 운동적 모달 간 상호보완적 정보를 효과적으로 활용하였으며, 특히 장면이나 물체 맥락과 무관하게 일반적인 제스처를 인식하는 데 있어 운동 신호가 핵심적인 역할을 했다.
• 다중 작업 학습을 통해 작업 간 공유 표현을 학습함으로써 과적합을 감소시키면서도, 작업별 특화 적응을 유지함으로써 성능 향상을 달성했다.
• 테스트 추론 시간은 광학 흐름 계산을 제외하고 약 7~8초 정도 소요되며, 이는 실시간 배포에 있어 주요 성능 저하 요인이다.