[논문 리뷰] Surgical Gesture Recognition with Optical Flow only

Duygu Sarıkaya, Pierre Jannin|arXiv (Cornell University)|2019. 04. 01.

Human Pose and Action Recognition참고 문헌 14인용 수 12

한 줄 요약

이 논문은 키네틱스 센서나 RGB 데이터를 사용하지 않고도 밀도 있는 광학 흐름만을 사용하여 외과 수술 제스처 인식을 수행하는 컴퓨터 비전 전용 접근법을 제안한다. ImageNet 가중치를 사용한 다중 모odal 전학습을 통해 ResNet 기반 모델을 초기화함으로써, 낮은 분산을 동반한 경쟁력 있는 정확도(수술 테스트에서 91.07% ± 0.67)를 달성하였으며, 이는 최소 침습 수술에서 제스처 인식에 있어 키네틱스 데이터의 강력한 대안으로서 광학 흐름의 유용성을 입증한다.

ABSTRACT

In this paper, we address the open research problem of surgical gesture recognition using motion cues from video data only. We adapt Optical flow ConvNets initially proposed by Simonyan et al.. While Simonyan uses both RGB frames and dense optical flow, we use only dense optical flow representations as input to emphasize the role of motion in surgical gesture recognition, and present it as a robust alternative to kinematic data. We also overcome one of the limitations of Optical flow ConvNets by initializing our model with cross modality pre-training. A large number of promising studies that address surgical gesture recognition highly rely on kinematic data which requires additional recording devices. To our knowledge, this is the first paper that addresses surgical gesture recognition using dense optical flow information only. We achieve competitive results on JIGSAWS dataset, moreover, our model achieves more robust results with less standard deviation, which suggests optical flow information can be used as an alternative to kinematic data for the recognition of surgical gestures.

연구 동기 및 목표

• 비디오에서의 운동 신호만을 사용하여 외과 수술 제스처 인식 문제를 해결함으로써 추가적인 키네틱스 센서에 의존하지 않도록 하는 것.
• RGB 또는 키네틱스 데이터와 비교하여 밀도 있는 광학 흐름만으로도 경쟁 가능한 성능을 달성할 수 있는지 평가하는 것.
• 작은 외과 데이터셋에서 광학 흐름 컨볼루션 네트워크의 수렴 부족 문제를 해결하기 위해 ImageNet 가중치를 활용한 다중 모달 전학습을 도입하는 것.
• 일부 초실험을 제외한 교차 검증 방식을 사용하여 JIGSAWS 벤치마크에서 일반화 능력과 강건성을 입증하는 것.
• JIGSAWS와 같이 작은 데이터셋에서 과적합을 피할 수 있는 재현 가능하고 계산 효율적인 방법을 제공하는 것.

제안 방법

• 모델은 연속된 영상 프레임 간의 2채널 (u,v) 벡터 필드로 표현된 밀도 있는 광학 흐름만을 입력으로 사용한다.
• 입력 시퀀스로 10개의 광학 흐름 프레임을 사용하여 20채널 입력 텐서를 생성하기 위해 BN-ResNet101 아키텍처를 적용한다.
• 이미지넷 사전학습된 RGB 컨볼루션 필터의 평균을 구하고, 이를 광학 흐름의 2개 채널에 복제하여 운동 스트림의 초기화에 사용함으로써 다중 모달 전학습을 수행한다.
• 데이터 증강에는 256×256로 리사이징된 프레임에서 224×224 크기의 무작위 컷을 포함하며, 데이터셋 균형을 맞추기 위해 30Hz 또는 40Hz 속도로 프레임을 샘플링한다.
• 학습에는 기본 학습률 1e-3를 사용한 SGD를 적용하고, 단계별 감소(스텝 사이즈=10, 감도=0.25) 및 조기 정지(약 80–150 에포크)를 수행한다.
• 추론 시에는 20개의 균일하게 샘플링된 프레임을 사용하고, 프레임 수준 예측의 평균을 취하여 영상 수준의 예측을 도출한다.

실험 결과

연구 질문

• RQ1 밀도 있는 광학 흐름만으로도 RGB 또는 키네틱스 데이터 없이 외과 수술 제스처 인식에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 작은 외과 데이터셋에서 광학 흐름 기반 모델의 수렴과 일반화 능력을 향상시키기 위해 다중 모달 전학습이 어떻게 기여하는가?
• RQ3 오직 운동 신호만을 사용할 경우, JIGSAWS 벤치마크에서 다른 방법들과 비교해 더 강건하고 분산이 낮은 결과를 얻을 수 있는가?
• RQ4 일부 초실험을 제외한 교차 검증 방식에서 광학 흐름 기반 모델이 다양한 외과 작업(예: 수술, 바늘 전달, 매듭 묶기) 간에 효과적으로 일반화되는가?
• RQ5 제안된 방법은 공개된 도구를 사용해 쉽게 재현 가능하고 계산 효율적인가?

주요 결과

• 모델은 JIGSAWS 데이터셋의 수술 작업에서 광학 흐름만을 사용하여 91.07% ± 0.67의 정확도를 달성하였으며, 일관성 면에서 이전의 많은 방법들을 능가하였다.
• 폴드 간 표준편차가 낮았음(수술 작업에서 0.67), 이는 성능이 강건하고 과적합이 감소했음을 시사한다.
• 바늘 전달 작업에서는 74.25% ± 3.66, 매듭 묶기 작업에서는 87.78% ± 3.44의 정확도를 기록하여 다양한 작업 간 강력한 일반화 능력을 입증하였다.
• 모델는 80–150 에포크 내에 수렴하였고, 미니배치당 약 20초가 소요되어 계산 효율성이 높음을 확인하였다.
• 다중 모달 전학습이 수렴을 크게 향상시키고, 작은 JIGSAWS 데이터셋에서의 과적합을 완화하는 데 기여하였다.
• 결과적으로 광학 흐름은 외과 수술 제스처 인식에서 키네틱스 데이터의 신뢰할 수 있고 강건한 대안이 될 수 있음을 시사한다.