[论文解读] 4D-OR: Semantic Scene Graphs for OR Domain Modeling

Ege Özsoy, Evin Pınar Örnek+4 more|arXiv (Cornell University)|Mar 22, 2022

Surgical Simulation and Training被引用 6

一句话总结

本文提出了4D-OR，这是首个公开可用的4D（3D+时间）外科数据集，包含丰富标注的语义场景图（SSG），支持基于神经网络的端到端SSG生成，实现对整个手术室（OR）场景的全面理解。该方法在关系预测中取得0.75的宏平均F1，在临床角色预测中取得0.85的宏平均F1，证明了SSG在建模复杂OR交互方面的强大能力。

ABSTRACT

Surgical procedures are conducted in highly complex operating rooms (OR), comprising different actors, devices, and interactions. To date, only medically trained human experts are capable of understanding all the links and interactions in such a demanding environment. This paper aims to bring the community one step closer to automated, holistic and semantic understanding and modeling of OR domain. Towards this goal, for the first time, we propose using semantic scene graphs (SSG) to describe and summarize the surgical scene. The nodes of the scene graphs represent different actors and objects in the room, such as medical staff, patients, and medical equipment, whereas edges are the relationships between them. To validate the possibilities of the proposed representation, we create the first publicly available 4D surgical SSG dataset, 4D-OR, containing ten simulated total knee replacement surgeries recorded with six RGB-D sensors in a realistic OR simulation center. 4D-OR includes 6734 frames and is richly annotated with SSGs, human and object poses, and clinical roles. We propose an end-to-end neural network-based SSG generation pipeline, with a rate of success of 0.75 macro F1, indeed being able to infer semantic reasoning in the OR. We further demonstrate the representation power of our scene graphs by using it for the problem of clinical role prediction, where we achieve 0.85 macro F1. The code and dataset will be made available upon acceptance.

研究动机与目标

• 通过建模医护人员、患者和设备之间的交互，实现对复杂手术室（OR）环境的自动化、全面且语义化的理解。
• 解决在OR领域缺乏公开可用、多任务标注数据集的问题，以支持语义场景图（SSG）模型的训练。
• 开发一个端到端神经网络流程，用于生成捕捉3D空间关系和实时OR场景中动态交互的SSG。
• 验证SSG在下游临床任务（如外科环境中临床角色预测）中的实用性。
• 通过结构化、语义化的表示，为未来计算机辅助干预奠定基础，使数字系统能够推理OR动态。

提出的方法

• 提出一种新颖的端到端神经网络流程，融合RGB-D图像、3D点云和实例级标签，为OR场景生成语义场景图（SSG）。
• 利用图像中的人体3D姿态估计和点云中的物体检测，为场景中所有实体分配实例级标签。
• 采用图神经网络（Graphormer）基于融合的视觉与几何特征，预测节点之间的关系（例如“外科医生正在为患者手术”）。
• 应用数据增强策略和线性损失加权，以提升泛化能力并平衡SSG生成中罕见关系类别的性能。
• 将真实或预测的人体与物体姿态作为SSG生成模型的输入，证明了对姿态预测误差的鲁棒性。
• 采用多传感器设置，配备六个RGB-D摄像头，同步捕获模拟全膝关节置换术的4D数据（3D+时间）。

实验结果

研究问题

• RQ1 语义场景图（SSGs）能否有效建模真实手术室中复杂、动态且多参与者的交互？
• RQ2 在手术场景中，端到端神经网络从多模态输入（图像、点云、姿态）生成准确SSG的能力如何？
• RQ3 SSG在多大程度上能支持下游临床任务，如OR环境中的临床角色预测？
• RQ4 使用图像模态和数据增强对SSG生成性能有何影响？
• RQ5 当依赖预测姿态而非真实姿态时，SSG生成流程的鲁棒性如何？

主要发现

• 所提出的SSG生成流程在关系预测上达到0.75的宏平均F1，证明了在复杂OR场景中具备有效的语义推理能力。
• 图像与数据增强的整合显著提升了SSG生成性能，当两者同时使用时，F1从0.65提升至0.78。
• 使用真实姿态而非预测姿态仅带来微小的性能提升（0.78 vs. 0.76），表明对姿态预测误差具有鲁棒性。
• 基于Graphormer的模型在临床角色预测中达到0.85的宏平均F1，优于基于启发式规则的基线模型（0.74的宏平均F1），尤其在助手外科医生和器械护士等角色上表现更优。
• 模型在遮挡角色上表现最弱——特别是麻醉师，F1仅为0.41，凸显了低可见性场景下的挑战。
• 4D-OR数据集包含10场模拟全膝关节置换术，共6,734帧，是首个公开可用的4D外科SSG数据集，为未来外科场景理解研究提供了支持。