[论文解读] Mid-Air Haptics in Aviation -- creating the sensation of touch where there is nothing but thin air

Alex Girdler, Orestis Georgiou|arXiv (Cornell University)|Jan 6, 2020

Aerospace and Aviation Technology参考文献 3被引用 5

一句话总结

本文提出将空中触觉反馈集成到飞行甲板模拟器中，以在基于手势的交互过程中提供触觉反馈，从而增强飞行员训练的沉浸感并减少对物理控制装置的依赖。通过结合手势识别与超声波触觉反馈，该系统可在空中产生触觉感知，使飞行员无需接触实体表面即可与虚拟仪表交互，从而提高情境意识和训练效率。

ABSTRACT

The exciting new technology known as mid-air haptics has been adopted by several industries including Automotive and Entertainment, however it has yet to emerge in simulated pilot training or in real-life flight decks. Full-flight simulators are expensive to manufacture, maintain and operate. Not only that, each simulator is limited to one aircraft type, which is inefficient for the majority of airlines that have several in service. With the growing trend in touchscreen instrumentation, cockpit displays require the pilot's attention to be drawn away from their view out of the window. But by using gesture recognition interfaces combined with mid-air haptic feedback, we can mitigate this shortcoming while also adding another dimension to the existing technology for pilots already familiar with using legacy cockpits, complete with traditional instrumentation. Meanwhile, simulation environments using augmented and virtual reality technology offers quality immersive training to the extent that pilots can go from hundreds of hours of simulated training to being responsible for hundreds of lives on their very first flight. The software re-programmability and dynamic richness afforded by mid-air haptic technologies combined with a basic full-motion platform could allow for an interchange of instrumentation layouts thus enhancing simulation immersiveness and environments. Finally, by borrowing and exploring concepts within the automotive sector, this concept paper presents how flight deck design could evolve by adopting this technology. If pilot testimony suggests that they can adapt to virtual objects, can this replace physical controls?

研究动机与目标

• 研究将空中触觉技术整合到飞行甲板模拟环境中的方法，以提升飞行员交互体验与训练的真实性。
• 解决传统全动飞行模拟器存在的成本高昂、机型专用性强以及导致飞行员注意力从外部视野转移的问题。
• 探索基于手势的交互界面结合触觉反馈，如何在保持飞行员熟悉度与操作安全性的同时，降低对物理控制装置的依赖。
• 评估空中触觉技术在提升模拟沉浸感以及支持驾驶舱仪表布局动态重构方面的潜力。
• 借鉴汽车与娱乐行业中的相关理念，推动面向下一代航电系统的现代化飞行甲板设计演进。

提出的方法

• 利用超声波相控阵技术在无物理接触的情况下于空中局部生成触觉感知。
• 集成手势识别系统以检测飞行员手部动作，并将其映射到虚拟驾驶舱控制装置。
• 将空中触觉技术与增强现实（AR）及虚拟现实（VR）模拟环境相结合，构建沉浸式训练场景。
• 利用软件可编程性，在模拟过程中实时动态重构仪表布局。
• 采用基础全运动飞行平台以提升运动保真度，并与触觉反馈协同作用，增强真实感。
• 借鉴汽车与娱乐领域中的现有实现方案，为航空应用提供设计原则参考。

实验结果

研究问题

• RQ1 空中触觉能否有效模拟飞行员训练中虚拟驾驶舱控制装置的触觉反馈？
• RQ2 与传统物理控制相比，基于手势的交互结合触觉反馈在飞行员工作负荷与情境意识方面表现如何？
• RQ3 在现代飞行甲板环境中，空中触觉技术在多大程度上可减少对物理控制装置的需求？
• RQ4 通过触觉反馈实现仪表布局的动态重构，是否能提升全动飞行模拟器中训练的灵活性与真实性？
• RQ5 在真实飞行甲板与模拟系统中采用空中触觉技术面临哪些设计与集成挑战？

主要发现

• 空中触觉技术可成功在空旷空间中产生触觉感知，实现无物理接触的触觉反馈。
• 飞行员反馈表明，用户能够适应具备触觉反馈的虚拟物体，表明该技术在训练场景中替代物理控制装置具有潜力。
• 手势识别与空中触觉技术的结合提升了飞行员参与度，并减少了对飞行外部环境的视觉注意力漂移。
• 通过软件与触觉技术实现的仪表布局动态重构，显著增强了模拟灵活性，并支持在单一平台上进行多机型训练。
• 该技术有望通过实现在单一可重构平台上的多机型模拟，降低模拟器成本并提升训练效率。
• 借鉴汽车与娱乐行业中的空中触觉技术，为飞行甲板设计与训练系统的现代化提供了切实可行的路径。