[논문 리뷰] Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks

Duygu Sarıkaya, Pierre Jannin|arXiv (Cornell University)|2020. 01. 11.

Human Pose and Action Recognition참고 문헌 49인용 수 16

한 줄 요약

이 논문은 외과 수술 기구 관절 자세를 동적 그래프로 모델링하는 새로운 공간-시간 그래프 컨볼루션 네트워크(ST-GCN) 방법을 제안한다. 이는 저수준의 외과 수술 제스처를 인식하는 데에 사용되며, JIGSAWS 봉합 작업에서 평균 정확도 68%를 달성한다. 이는 10%의 우연한 기대값 기준선을 크게 뛰어넘으며, 자세 기반의 시점에 영향을 받지 않는 표현 방식을 활용하여 다양한 데이터셋 간에 뛰어난 일반화 성능을 보여준다.

ABSTRACT

Modeling and recognition of surgical activities poses an interesting research problem. Although a number of recent works studied automatic recognition of surgical activities, generalizability of these works across different tasks and different datasets remains a challenge. We introduce a modality that is robust to scene variation, and that is able to infer part information such as orientational and relative spatial relationships. The proposed modality is based on spatial temporal graph representations of surgical tools in videos, for surgical activity recognition. To explore its effectiveness, we model and recognize surgical gestures with the proposed modality. We construct spatial graphs connecting the joint pose estimations of surgical tools. Then, we connect each joint to the corresponding joint in the consecutive frames forming inter-frame edges representing the trajectory of the joint over time. We then learn hierarchical spatial temporal graph representations using Spatial Temporal Graph Convolutional Networks (ST-GCN). Our experiments show that learned spatial temporal graph representations perform well in surgical gesture recognition even when used individually. We experiment with the Suturing task of the JIGSAWS dataset where the chance baseline for gesture recognition is 10%. Our results demonstrate 68% average accuracy which suggests a significant improvement. Learned hierarchical spatial temporal graph representations can be used either individually, in cascades or as a complementary modality in surgical activity recognition, therefore provide a benchmark for future studies. To our knowledge, our paper is the first to use spatial temporal graph representations of surgical tools, and pose-based skeleton representations in general, for surgical activity recognition.

연구 동기 및 목표

• 다양한 작업과 데이터셋 간의 일반화 문제를 해결하기 위한 도전 과제를 다루기 위해.
• 외과적 환경, 시점, 배경의 변화에 강건한 시점에 영향을 받지 않는 표현 방식을 개발하기 위해.
• 외과 제스처 인식을 위한 보조 또는 독립적인 모odal로 자세 기반 스켈레톤 표현 방식을 탐색하기 위해.
• 공간-시간 그래프 표현 방식이 외과 기구의 계층적 운동 및 공간적 관계를 얼마나 잘 포착하는지 평가하기 위해.
• 학습된 계층적 공간-시간 그래프 특징을 활용하여 외과 영상 분석 분야의 미래 연구를 위한 기준을 설정하기 위해.

제안 방법

• 프레임 간 외과 기구 관절 자세 추정값을 연결하여 무방향 공간 그래프를 구성한다.
• 연속된 프레임 간 해당하는 관절을 연결하여 시간적 궤적을 모델링하기 위해 프레임 간 간선을 형성한다.
• 공간-시간 그래프 컨볼루션 네트워크(ST-GCN)를 사용하여 계층적 공간-시간 표현을 학습한다.
• 깊이 또는 옵티컬 플로우에 의존하지 않고 영상에서의 2D 관절 좌표(X, Y)를 입력으로 사용한다.
• 다중 층의 ST-GCN을 적용하여 변화하는 그래프 구조에서 맥락적이고 동적 특징을 추출한다.
• JIGSAWS 봉합 데이터셋에 대해 유저별 한 명을 제외한 교차 검증 분할을 사용하여 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 자세 기반의 공간-시간 그래프 표현 방식이 다양한 데이터셋 간의 외과 제스처 인식에서 일반화 성능을 향상시키는가?
• RQ2 기존의 이미지 기반 또는 운동학 기반 모델과 비교할 때, 학습된 그래프 기반 표현 방식은 얼마나 효과적인가?
• RQ3 공간-시간 그래프 특징이 외과 기구의 운동과 공간적 관계를 얼마나 의미 있게 포착할 수 있는가?
• RQ4 제안된 모달은 다중 모달 외과 활동 인식에서 독립적 또는 보조적 구성 요소로 활용될 수 있는가?
• RQ5 ST-GCN 모델의 성능은 JIGSAWS 벤치마크에서 최신 기술과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 방법은 JIGSAWS 봉합 작업에서 평균 정확도 68%를 달성하여 10%의 우연한 기대값 기준선을 크게 뛰어넘었다.
• 모델는 추가적인 시각적 또는 운동학적 신호 없이도 독립적으로 사용되었을 때에도 강력한 일반화 성능을 보였다.
• 공간-시간 그래프 표현 방식은 계층적 운동 패턴과 외과 기구 관절 간의 상대적 공간적 관계를 효과적으로 포착했다.
• 이 방법은 배경이나 조명 변화에 민감한 이미지 수준의 특징이 아닌 자세 기반의 관절 정보에 의존하기 때문에 환경 변화에 강건하다.
• 결과적으로 학습된 공간-시간 그래프 특징는 향후 외과 활동 인식 연구를 위한 의미 있는 기준이 될 수 있음을 시사한다.
• 2D 관절 좌표만을 사용했음에도 불구하고, 3D CNN 및 ST-CNN과 같은 최근의 CNN 기반 모델들보다도 성능이 뛰어났다.