[논문 리뷰] Identification of Cognitive Workload during Surgical Tasks with Multimodal Deep Learning

Kaizhe Jin, Adrian Rubio-Solis외 9명|arXiv (Cornell University)|2022. 09. 12.

Cardiac, Anesthesia and Surgical Outcomes인용 수 4

한 줄 요약

이 연구는 복강경 수술 중 인지 부하(CWL)를 식별하기 위해 뇌파(EEG),fNIRS 및 동공 지름 신호를 융합하는 이단계 다중모달 딥러닝 프레임워크를 제안한다. 전이학습을 활용한 미세조정된 AlexNet을 통한 CWL 탐지와 1D-CNN을 통한 작업유형 분류를 통해, 정신적 부하가 증가하는 수술 작업 조건을 93% 정밀도로 식별하였으며, 시뮬레이션된 수술실 환경에서 높은 정확도와 낮은 계산 비용을 입증하였다.

ABSTRACT

The operating room (OR) is a dynamic and complex environment consisting of a multidisciplinary team working together in a high take environment to provide safe and efficient patient care. Additionally, surgeons are frequently exposed to multiple psycho-organisational stressors that may cause negative repercussions on their immediate technical performance and long-term health. Many factors can therefore contribute to increasing the Cognitive Workload (CWL) such as temporal pressures, unfamiliar anatomy or distractions in the OR. In this paper, a cascade of two machine learning approaches is suggested for the multimodal recognition of CWL in four different surgical task conditions. Firstly, a model based on the concept of transfer learning is used to identify if a surgeon is experiencing any CWL. Secondly, a Convolutional Neural Network (CNN) uses this information to identify different degrees of CWL associated to each surgical task. The suggested multimodal approach considers adjacent signals from electroencephalogram (EEG), functional near-infrared spectroscopy (fNIRS) and eye pupil diameter. The concatenation of signals allows complex correlations in terms of time (temporal) and channel location (spatial). Data collection was performed by a Multi-sensing AI Environment for Surgical Task & Role Optimisation platform (MAESTRO) developed at the Hamlyn Centre, Imperial College London. To compare the performance of the proposed methodology, a number of state-of-art machine learning techniques have been implemented. The tests show that the proposed model has a precision of 93%.

연구 동기 및 목표

• 고위험 수술 과제에서 실시간으로 인지 부하(CWL)를 식별하는 데 도전하는 데 목적을 두며, 정신적 과부하가 성능에 악영향을 미칠 수 있음을 고려한다.
• 수술 중 뇌 및 교감신경 활동의 동적 변화를 캡처하는 비침습적, 다중모달 생리학적 모니터링 시스템을 개발한다.
• 자동화된 데이터 기반 방법을 통해 인지 과부하의 조기 징후를 탐지하여 수술 팀의 안전성과 성능을 향상시킨다.
• EEG, fNIRS, 동공 크기와 같은 다수의 신경생리신호 간의 시간적 및 공간적 상관관계를 통합하는 정확한 CWL 분류를 위한 딥러닝 파이pline을 검증한다.
• 임상 환경에서 실시간 인지 부하 모니터링을 위한 확장 가능하고 계산 비용이 낮은 프레임워크를 구축한다.

제안 방법

• 이중단계 기계학습 파이프라인을 적용한다: 첫 번째 단계에서는 전이학습과 미세조정된 AlexNet 모델을 활용해 스칼프 신호 데이터를 스칼로그램 이미지로 변환하여 인지 부하 존재 여부를 탐지한다.
• 두 번째 단계에서는 EEG, fNIRS 및 동공 지름의 1D 생리신호를 결합하여 1D-CNN을 사용해 특정 수술 작업 유형(4가지 조건)을 분류한다.
• 생리신호 데이터는 임피리얼 칼리지 런던의 하믈린 센터에서 개발한 다중센서 AI 시스템인 MAESTRO 플랫폼을 통해 수집되었으며, 시뮬레이션된 복강경 페그 이송 과제 동안 신호를 측정하였다.
• 신호 전처리 과정에서는 첫 번째 단계에 시각적 입력을 위해 스칼로그램으로 변환하고, 두 번째 단계에 1D 벡터 인코딩을 수행하여 시공간 상관관계 모델링을 가능하게 하였다.
• 최종 레이어의 AlexNet 모델 학습에는 Adam 옵timizer를 사용하였으며, 1D-CNN은 다중모달 신호 시퀀스를 종합적으로 끝에서 끝까지 학습하였다.
• EEG(시간 해상도), fNIRS(혈류동역학 반응), 동공 지름(교감신경 활성화)의 상호보완적 특성을 활용하여 부하 탐지 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 EEG, fNIRS 및 동공 지름 신호를 활용한 다중모달 딥러닝 접근법이 복강경 수술 과제 중 인지 부하를 정확하게 탐지할 수 있는가?
• RQ2 사전학습된 AlexNet을 활용한 전이학습이 수술 환경에서 인지 부하 존재 여부 탐지 성능을 향상시키는가?
• RQ3 융합된 생리신호 기반으로 1D-CNN이 다양한 정신적 요구 수준을 반영하는 다양한 수술 작업 조건을 효과적으로 분류할 수 있는가?
• RQ4 fNIRS의 혈액 산소포화도(HbO2) 및 헤모글로빈 감소(HbR) 반응이 주관적 부하 평가와 작업 조건과 어떻게 관련이 있는가?
• RQ5 청각적 방해 요소와 인지 부하 과제가 초보 수술의 인지 부하 생리적 지표에 어떤 정도 영향을 미치는가?

주요 결과

• 제안된 이중단계 딥러닝 모델은 전이학습과 미세조정된 AlexNet을 활용해 인지 부하 존재 여부 탐지에서 100% 정확도를 달성하였다.
• 두 번째 단계의 1D-CNN 모델은 정신적 부하가 증가하는 수술 작업 조건을 식별하는 데 총 분류 정확도 93%를 기록하였다.
• fNIRS 데이터는 청각적 방해 요소와 인지 부하가 포함된 작업 조건 2 및 4에서 HbO2 및 HbR 수치가 유의미하게 증가함을 보여, 전두엽 피질 활성화가 증가했음을 시사하였다.
• 주관적 부하 평가(SURG-TLX)는 작업 2 및 4 동안 정신적 요구 수준이 뚜렷이 증가했음을 확인하였으며, 객관적 생리적 변화와 일치하였다.
• EEG, fNIRS 및 동공 지름 신호의 조합은 복잡한 시공간 상관관계를 포착하여 단일모달 접근법을 능가하는 강력한 부하 변화 탐지 성능을 보였다.
• 이 프레임워크는 낮은 계산 비용과 높은 정확도를 보이며, 수술실에서 실시간 구현 가능성을 입증하였다.