[논문 리뷰] Mid-Air Haptics in Aviation -- creating the sensation of touch where there is nothing but thin air

Alex Girdler, Orestis Georgiou|arXiv (Cornell University)|2020. 01. 06.

Aerospace and Aviation Technology참고 문헌 3인용 수 5

한 줄 요약

이 논문은 비행기 콘솔 시뮬레이터에 중공간 테이크터치를 통합하여 제스처 기반 상호작용 중 터치 피드백을 가능하게 하여 조종사 훈련의 몰입도를 높이고 물리적 제어 장치에 대한 의존도를 줄이고자 한다. 제스처 인식과 초음파 테이크터치 피드백을 결합함으로써 공기 중에서 촉각을 유도함으로써 조종사는 표면에 직접 촉촉하지 않아도 가상의 조종장치와 상호작용할 수 있게 되어 상황 인식 능력과 훈련 효율성이 향상된다.

ABSTRACT

The exciting new technology known as mid-air haptics has been adopted by several industries including Automotive and Entertainment, however it has yet to emerge in simulated pilot training or in real-life flight decks. Full-flight simulators are expensive to manufacture, maintain and operate. Not only that, each simulator is limited to one aircraft type, which is inefficient for the majority of airlines that have several in service. With the growing trend in touchscreen instrumentation, cockpit displays require the pilot's attention to be drawn away from their view out of the window. But by using gesture recognition interfaces combined with mid-air haptic feedback, we can mitigate this shortcoming while also adding another dimension to the existing technology for pilots already familiar with using legacy cockpits, complete with traditional instrumentation. Meanwhile, simulation environments using augmented and virtual reality technology offers quality immersive training to the extent that pilots can go from hundreds of hours of simulated training to being responsible for hundreds of lives on their very first flight. The software re-programmability and dynamic richness afforded by mid-air haptic technologies combined with a basic full-motion platform could allow for an interchange of instrumentation layouts thus enhancing simulation immersiveness and environments. Finally, by borrowing and exploring concepts within the automotive sector, this concept paper presents how flight deck design could evolve by adopting this technology. If pilot testimony suggests that they can adapt to virtual objects, can this replace physical controls?

연구 동기 및 목표

• 중공간 테이크터치를 비행기 콘솔 시뮬레이션 환경에 통합하여 조종사의 상호작용과 훈련의 현실감을 향상시키고자 한다.
• 기존의 전면 시뮬레이터가 비용이 많이 들고 항공기 유형에 특화되어 있으며 조종사가 외부 시야에서 주의를 산산이 흩트리는 문제점을 해결하고자 한다.
• 제스처 기반 인터페이스에 테이크터치 피드백을 통합함으로써 물리적 제어 장치에 대한 의존도를 줄이되, 조종사의 익숙함과 운영 안전성을 유지하고자 한다.
• 중공간 테이크터치가 시뮬레이션의 몰입감을 향상시키고 콘솔 장비 레이아웃의 동적 재구성 가능성을 지원할 잠재력을 평가하고자 한다.
• 자동차 및 엔터테인먼트 산업에서의 개념을 응용하여 차세대 항공전자장비를 위한 현대적인 비행기 콘솔 디자인을 발전시키고자 한다.

제안 방법

• 물리적 접촉 없이도 국소적인 촉각 감각을 생성하기 위해 초음파 페이즈 어레이 기술을 활용한다.
• 조종사의 손 움직임을 감지하고 가상의 콘솔 제어 장치에 매핑하기 위해 제스처 인식 시스템을 통합한다.
• 중공간 테이크터치를 증강현실 및 가상현실(AR/VR) 시뮬레이션 환경과 융합하여 몰입형 훈련 시나리오를 구현한다.
• 소프트웨어 재프로그래밍 기능을 활용하여 시뮬레이션 중 실시간으로 장비 레이아웃을 동적으로 재구성한다.
• 기본적인 전동식 비행 플랫폼을 사용하여 운동의 정밀도를 높이고 테이크터치 피드백과 조화를 이뤄 더 현실적인 경험을 제공한다.
• 자동차 및 엔터테인먼트 분야의 기존 사례를 참조하여 항공 분야 적용을 위한 설계 원칙을 도출한다.

실험 결과

연구 질문

• RQ1 중공간 테이크터치는 조종사 훈련 중 가상의 콘솔 제어 장치에 대해 촉각 피드백을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 테이크터치 피드백이 있는 제스처 기반 상호작용이 전통적인 물리적 제어 장치에 비해 조종사의 작업 부담과 상황 인식 능력에 어떤 영향을 미치는가?
• RQ3 현대 비행기 콘솔 환경에서 중공간 테이크터치가 물리적 제어 장치의 필요성을 어느 정도 줄일 수 있는가?
• RQ4 테이크터치 피드백를 통한 장비 레이아웃의 동적 재구성이 전면 시뮬레이터에서 훈련의 유연성과 현실감을 향상시킬 수 있는가?
• RQ5 실제 비행기 콘솔 및 시뮬레이션 시스템에 중공간 테이크터치를 도입할 때의 설계 및 통합 과제는 무엇인가?

주요 결과

• 중공간 테이크터치는 빈 공간에서도 촉각을 유도할 수 있어 물리적 접촉 없이도 터치 피드백을 제공할 수 있다.
• 조종사의 증언에 따르면 사용자는 테이크터치 피드백이 있는 가상 객체에 적응할 수 있으며, 이는 훈련 상황에서 물리적 제어 장치를 대체할 잠재력이 있음을 시사한다.
• 제스처 인식과 중공간 테이크터치의 통합은 조종사의 몰입도를 높이고 외부 환경에서의 시각적 주의 산산이 흩트림을 줄인다.
• 소프트웨어와 테이크터치를 활용한 장비 레이아웃의 동적 재구성은 시뮬레이션의 유연성을 높이며 단일 플랫폼에서 다양한 항공기 유형의 훈련을 지원한다.
• 이 기술은 단일 재구성 가능한 플랫폼에서 다중 항공기 모델을 시뮬레이션할 수 있게 하여 시뮬레이터 비용을 줄이고 훈련 효율성을 향상시킬 잠재력을 보여준다.
• 자동차 및 엔터테인먼트 산업에서의 중공간 테이크터치 도입 사례를 응용함으로써 비행기 콘솔 디자인과 훈련 시스템의 현대화를 위한 실현 가능한 길을 제시한다.