[논문 리뷰] Motion2Vec: Semi-Supervised Representation Learning from Surgical Videos

Ajay Kumar Tanwani, Pierre Sermanet외 4명|arXiv (Cornell University)|2020. 05. 31.

Human Pose and Action Recognition참고 문헌 53인용 수 4

한 줄 요약

Motion2Vec는 시각적 동작 분할을 위한 양자화된 표현 학습 방법으로, 시 aplar 네트워크를 사용한 메트릭 학습을 통해 수술 영상 조각을 깊이 있는 임bedding 공간으로 군집화하고, 가짜 레이블링을 위한 순환 신경망을 통한 반복적 개선을 통해 반감성 학습을 수행한다. 이는 da Vinci 로봇에서 85.5%의 동작 분할 정확도와 0.94 cm의 위치 오차를 기록하며 최신 기술들을 능가한다.

ABSTRACT

Learning meaningful visual representations in an embedding space can facilitate generalization in downstream tasks such as action segmentation and imitation. In this paper, we learn a motion-centric representation of surgical video demonstrations by grouping them into action segments/sub-goals/options in a semi-supervised manner. We present Motion2Vec, an algorithm that learns a deep embedding feature space from video observations by minimizing a metric learning loss in a Siamese network: images from the same action segment are pulled together while pushed away from randomly sampled images of other segments, while respecting the temporal ordering of the images. The embeddings are iteratively segmented with a recurrent neural network for a given parametrization of the embedding space after pre-training the Siamese network. We only use a small set of labeled video segments to semantically align the embedding space and assign pseudo-labels to the remaining unlabeled data by inference on the learned model parameters. We demonstrate the use of this representation to imitate surgical suturing motions from publicly available videos of the JIGSAWS dataset. Results give 85.5 % segmentation accuracy on average suggesting performance improvement over several state-of-the-art baselines, while kinematic pose imitation gives 0.94 centimeter error in position per observation on the test set. Videos, code and data are available at https://sites.google.com/view/motion2vec

연구 동기 및 목표

• 최소한의 인간 레이블링을 통해 수술 영상 시연에서 분리된, 운동 중심의 표현을 학습하고자 한다.
• 약한 감독, 자기지도 학습 기반의 임베딩 학습을 통해 동작 분할 및 모방 학습 성능을 향상시키고자 한다.
• 강건하고 해석 가능한 표현을 통해 새로운 수술 작업으로의 일반화 및 실제 로봇 환경에의 구현을 가능하게 하고자 한다.

제안 방법

• 동일한 동작 조각에서 온 이미지 간의 거리를 줄이고, 다른 조각에서 온 이미지 간의 거리를 넓히기 위해 대비 손실을 사용한 시아네스 네트워크를 훈련한다.
• 임베딩 학습 중 시공간적 구조를 유지하기 위해 시간 순서 제약 조건을 사용한다.
• 사전 훈련 후, 순환 신경망이 레이블이 없는 시퀀스에서 가짜 레이블을 추론하여 임베딩 공간을 개선한다.
• 가짜 레이블 데이터로 다시 훈련함으로써 임베딩 공간을 반복적으로 개선한다.
• 소량의 레이블이 부여된 영상 조각을 사용하여 임베딩 공간을 의미적으로 정렬하고 가짜 레이블링 과정을 초기화한다.
• 포즈 복제를 위해 피드포워드 네트워크를 사용하여 임bedded 관측치에서 정확한 운동학적 복제를 수행한다.

실험 결과

연구 질문

• RQ1 반감성 메트릭 학습 접근법이 최소한의 레이블 데이터로 깊이 있는 임베딩 공간에서 유사한 수술 동작 조각을 효과적으로 군집화할 수 있는가?
• RQ2 RNN에 의한 반복적 가짜 레이블링이 영상 기반 모방 학습에서 학습된 표현의 정렬성과 해석 가능성에 어떻게 기여하는가?
• RQ3 Motion2Vec 임베딩이 실제 로봇 시스템에서의 동작 분할 및 운동학적 자세 복제와 같은 후속 작업으로 얼마나 잘 일반화되는가?
• RQ4 분할 정확도와 내구성 측면에서 이 기법은 최신 메트릭 및 시퀀스 학습 기반 기준 모델들과 어떻게 비교되는가?
• RQ5 학습된 표현이 노이즈 및 도메인 이동 조건에서도 시공간적 구조를 유지할 수 있는가?

주요 결과

• Motion2Vec는 JIGSAWS 데이터셋에서 평균 85.5%의 분할 정확도를 기록하며, 이는 TCC(83.3%) 및 TCN(81.4%)와 같은 이전 방법들을 능가한다.
• 입력 노이즈에 대해 강건성을 보이며, 전처리된 이미지에 노이즈 분산 0.15인 가우시안 노이즈가 첨가된 상황에서도 정확한 시공간 정렬을 유지한다.
• Motion2Vec 임베딩을 사용한 포즈 복제에서는 da Vinci 로봇에서 관측치당 중앙값 위치 오차 0.94 cm를 기록하며, 원시 영상으로 훈련된 모델보다 우수한 성능을 보였다.
• Motion2Vec 임베딩을 기반으로 한 수술의사별 포즈 복제 모델은 중앙값 코사인 쿼터니언 손실 36.49와 RMSE 0.94 cm를 기록하여 운동학적 복제의 고정밀도를 입증하였다.
• 25% 이상의 레이블 데이터를 사용한 반감성 훈련은 완전 감독 및 무감독 기반 기준 모델보다 일관되게 분할 정확도를 향상시켰다.
• RNN에 의해 예측된 가짜 레이블을 활용한 반복적 개선 루프는 임베딩 품질과 후속 성능을 크게 향상시켰다.