[論文レビュー] Identification of Cognitive Workload during Surgical Tasks with Multimodal Deep Learning

Kaizhe Jin, Adrian Rubio-Solis+9 more|arXiv (Cornell University)|Sep 12, 2022

Cardiac, Anesthesia and Surgical Outcomes被引用数 4

ひとこと要約

本研究では、腹腔鏡手術中の認知的作業負荷（CWL）を特定するために、EEG、fNIRS、および瞳孔径信号を統合する2段階のマルチモーダル深層学習フレームワークを提案する。転移学習を用いた微調整されたAlexNetによるCWL検出と、1D-CNNによるタスクタイプ分類の両方を採用し、精神的負荷が高まる手術タスク状態を93%の精度で特定した。これは、模擬手術室環境下で高い正確性と低い計算コストを実現した。

ABSTRACT

The operating room (OR) is a dynamic and complex environment consisting of a multidisciplinary team working together in a high take environment to provide safe and efficient patient care. Additionally, surgeons are frequently exposed to multiple psycho-organisational stressors that may cause negative repercussions on their immediate technical performance and long-term health. Many factors can therefore contribute to increasing the Cognitive Workload (CWL) such as temporal pressures, unfamiliar anatomy or distractions in the OR. In this paper, a cascade of two machine learning approaches is suggested for the multimodal recognition of CWL in four different surgical task conditions. Firstly, a model based on the concept of transfer learning is used to identify if a surgeon is experiencing any CWL. Secondly, a Convolutional Neural Network (CNN) uses this information to identify different degrees of CWL associated to each surgical task. The suggested multimodal approach considers adjacent signals from electroencephalogram (EEG), functional near-infrared spectroscopy (fNIRS) and eye pupil diameter. The concatenation of signals allows complex correlations in terms of time (temporal) and channel location (spatial). Data collection was performed by a Multi-sensing AI Environment for Surgical Task & Role Optimisation platform (MAESTRO) developed at the Hamlyn Centre, Imperial College London. To compare the performance of the proposed methodology, a number of state-of-art machine learning techniques have been implemented. The tests show that the proposed model has a precision of 93%.

研究の動機と目的

• 高リスクな手術タスクにおけるリアルタイムな認知的作業負荷（CWL）の特定という課題に対処すること。
• 手術中に脳および交感神経系の活動の動的な変化を捉える非侵襲的でマルチモーダルな生理的モニタリングシステムを開発すること。
• 自動的・データ駆動的な手法により認知的過負荷の兆候を早期に検出することで、手術チームの安全性とパフォーマンスを向上させること。
• 時間的および空間的相関を複数の神経生理的信号（EEG、fNIRS、瞳孔径）間で統合する深層学習パイプラインを検証し、正確なCWL分類を実現すること。
• 臨床環境でのリアルタイム認知的作業負荷モニタリングに適した、スケーラブルで計算コストが低いフレームワークを確立すること。

提案手法

• 2段階の機械学習パイプラインを採用する。まず、スカラログ画像に変換された頭皮信号データを処理する微調整済みAlexNetモデルを用いて認知的作業負荷の有無を検出する。
• 2番目の段階では、EEG、fNIRS、瞳孔径からの1次元生理的信号を連結して処理する1D-CNNを用い、4つの手術タスク条件（4条件）を分類する。
• 生理的データは、インペリアル・カレッジ・ロンドンのハムリン・センターで開発されたマルチセンシングAIシステム「MAESTRO」プラットフォームを介して収集され、模擬腹腔鏡ペグ移動タスク中に信号を記録した。
• 信号前処理では、1段階目では視覚入力用にスカラログに変換し、2段階目では1次元ベクトル符号化を実施することで、空間的・時間的相関のモデリングを可能にした。
• 最終層の訓練にはAdam最適化手法を用い、1D-CNNはマルチモーダル信号系列をエンドツーエンドで訓練した。
• EEG（時間分解能）、fNIRS（血液動態反応）、瞳孔径（副交感神経系の興奮）の相補的性質を活用することで、作業負荷検出の強度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 EEG、fNIRS、瞳孔径信号を用いたマルチモーダル深層学習手法は、腹腔鏡手術タスク中の認知的作業負荷を正確に検出できるか？
• RQ2 事前学習済みAlexNetを用いた転移学習は、手術環境における認知的作業負荷の有無の検出性能を向上させるか？
• RQ3 統合された生理的信号に基づいて、1D-CNNは、異なる精神的負荷レベルを反映する異なる手術タスク条件を効果的に分類できるか？
• RQ4 fNIRSからの血液動態反応（HbO2およびHbR）は、主観的作業負荷評価とタスク状態とどのように相関するか？
• RQ5 聴覚的干渉および認知的負荷タスクは、初心者外科医の認知的作業負荷の生理的マーカーにどのように影響を与えるか？

主な発見

• 提案された2段階の深層学習モデルは、微調整済みAlexNetを用いた転移学習により、認知的作業負荷の有無を100%の正確性で検出できた。
• 2段階目の1D-CNNモデルは、精神的負荷が高まる手術タスク状態を特定する分類において、全体で93%の正確性を達成した。
• fNIRSデータから、聴覚的干渉および認知的負荷を伴うタスク2および4の間に前頭前皮の活性化が顕著に上昇していることが示された。
• 主観的作業負荷評価（SURG-TLX）は、タスク2および4で精神的負荷が著しく上昇していることを確認しており、客観的生理的変化と整合的であった。
• EEG、fNIRS、瞳孔径信号の組み合わせにより、複雑な空間的・時間的相関を捉えることで、作業負荷変化の検出が強固になった。単一モodal手法を上回る性能を示した。
• このフレームワークは計算コストが低く、正確性が高いため、手術室でのリアルタイム導入の可能性を示唆している。