[論文レビュー] Mid-Air Haptics in Aviation -- creating the sensation of touch where there is nothing but thin air

Alex Girdler, Orestis Georgiou|arXiv (Cornell University)|Jan 6, 2020

Aerospace and Aviation Technology参考文献 3被引用数 5

ひとこと要約

本論文は、ジェスチャー操作によるインタラクション中にタッチフィードバックを提供するために、フライトデッキシミュレータにミッドエアハプティクスを統合することを提案している。これにより、パイロット訓練の没入感が向上し、物理的コントロールへの依存が軽減される。ジェスチャー認識と超音波ハプティクスを組み合わせることで、接触なしに空中にタクトイル感覚を生み出し、パイロットが物理的な表面に触れることなく仮想インストルメントとインタラクションできるようになる。その結果、状況認識能力と訓練効率が向上する。

ABSTRACT

The exciting new technology known as mid-air haptics has been adopted by several industries including Automotive and Entertainment, however it has yet to emerge in simulated pilot training or in real-life flight decks. Full-flight simulators are expensive to manufacture, maintain and operate. Not only that, each simulator is limited to one aircraft type, which is inefficient for the majority of airlines that have several in service. With the growing trend in touchscreen instrumentation, cockpit displays require the pilot's attention to be drawn away from their view out of the window. But by using gesture recognition interfaces combined with mid-air haptic feedback, we can mitigate this shortcoming while also adding another dimension to the existing technology for pilots already familiar with using legacy cockpits, complete with traditional instrumentation. Meanwhile, simulation environments using augmented and virtual reality technology offers quality immersive training to the extent that pilots can go from hundreds of hours of simulated training to being responsible for hundreds of lives on their very first flight. The software re-programmability and dynamic richness afforded by mid-air haptic technologies combined with a basic full-motion platform could allow for an interchange of instrumentation layouts thus enhancing simulation immersiveness and environments. Finally, by borrowing and exploring concepts within the automotive sector, this concept paper presents how flight deck design could evolve by adopting this technology. If pilot testimony suggests that they can adapt to virtual objects, can this replace physical controls?

研究の動機と目的

• フライトデッキシミュレーション環境にミッドエアハプティクスを統合し、パイロットのインタラクションと訓練のリアリズムを向上させることを目的とする。
• 高価で機種に特化した伝統的なフルフライトシミュレータの限界を是正することを目的とし、パイロットが外部視界から注意力を逸らす必要がなくなるようにすることを目的とする。
• ジェスチャーに基づくインターフェースにハプティクスフィードバックを組み合わせることで、物理的コントロールへの依存を減らしつつ、パイロットの慣れや運用上の安全性を維持できるかを検討することを目的とする。
• ミッドエアハプティクスがシミュレーションの没入感を向上させ、コックピットインストルメントレイアウトの動的再構成を支援する可能性を評価することを目的とする。
• 自動車およびエンターテインメント業界の既存の概念を応用し、次世代アビオニクス向けの現代的なフライトデッキ設計を進化させることを目的とする。

提案手法

• 超音波フェーズドアレイ技術を用いて、物理的接触なしに局所的なタクトイル感覚を空中に生成する。
• パイロットの手の動きを検出・認識するジェスチャー認識システムを統合し、仮想コックピットコントロールにマッピングする。
• ミッドエアハプティクスを拡張現実（AR）および仮想現実（VR）シミュレーション環境と統合し、没入感のある訓練シナリオを構築する。
• ソフトウェアの再プログラミング機能を活用し、シミュレーション中にリアルタイムでインストルメントレイアウトを再構成する。
• 基本的なフルモーションフライトプラットフォームを用いて、運動の忠実度を向上させ、ハプティクスフィードバックと併せてより現実的な体験を実現する。
• 自動車およびエンターテインメント分野での既存の実装を基に、航空分野への応用に向けた設計原則を導く。

実験結果

リサーチクエスチョン

• RQ1 ミッドエアハプティクスは、パイロット訓練中の仮想コックピットコントロールに対して、有効にタクトイルフィードバックを模倣できるか？
• RQ2 ハプティクスフィードバックを伴うジェスチャー操作によるインタラクションは、従来の物理的コントロールと比較して、パイロットの作業負荷や状況認識能力にどのような影響を与えるか？
• RQ3 ミッドエアハプティクスは、現代のフライトデッキ環境において物理的コントロールの必要性をどの程度低減できるか？
• RQ4 ハプティクスフィードバックを用いたインストルメントレイアウトの動的再構成は、フルフライトシミュレータにおける訓練の柔軟性とリアリズムを向上させられるか？
• RQ5 実世界のフライトデッキおよびシミュレーションシステムにミッドエアハプティクスを導入するにあたり、設計および統合上の課題は何か？

主な発見

• ミッドエアハプティクスは、空気中で接触なしにタッチの感覚を効果的に再現でき、物理的接触なしにタクトイルフィードバックを提供できる。
• パイロットのフィードバックによると、ユーザーはハプティクスフィードバック付きの仮想オブジェクトに適応でき、訓練シナリオにおける物理的コントロールの代替可能性が示唆される。
• ジェスチャー認識とミッドエアハプティクスの統合により、パイロットの関与度が向上し、外部環境からの視線の逸脱が軽減される。
• ソフトウェアとハプティクスを用いたインストルメントレイアウトの動的再構成により、シミュレーションの柔軟性が向上し、1台のプラットフォームで複数の機体タイプの訓練が可能になる。
• 1台の再構成可能なプラットフォームで複数の機体タイプのシミュレーションが可能になることから、この技術はシミュレータコストの低減と訓練効率の向上に有望である。
• 自動車およびエンターテインメント業界から導入されたミッドエアハプティクスの採用は、フライトデッキ設計と訓練システムの近代化に現実的かつ有効な道筋を提供する。