[논문 리뷰] Smart Guiding Glasses for Visually Impaired People in Indoor Environment

Jinqiang Bai, Shiguo Lian외 3명|arXiv (Cornell University)|2017. 09. 27.

Tactile and Sensory Interactions참고 문헌 22인용 수 15

한 줄 요약

이 논문은 시각 장애인 사용자가 복잡한 실내 환경에서 안전하게 이동할 수 있도록, 깊이 센서와 초음파 센서의 다중 센서 융합 기술을 활용해 장애물을 탐지하는 스마트 안경을 제시한다. 특히 작은 장애물이나 투명한 장애물(예: 유리 문)을 효과적으로 감지하며, 시각 장애자가 청각 신호를 통해 안내를 받고, 저시력 환자는 증강현실(AR) 기반의 시각적 강화를 통해 이동할 수 있도록 한다. 프로토타입 테스트 결과, 복잡한 실내 환경에서 이동 정확도와 사용자 경험 향상이 확인되었다.

ABSTRACT

To overcome the travelling difficulty for the visually impaired group, this paper presents a novel ETA (Electronic Travel Aids)-smart guiding device in the shape of a pair of eyeglasses for giving these people guidance efficiently and safely. Different from existing works, a novel multi sensor fusion based obstacle avoiding algorithm is proposed, which utilizes both the depth sensor and ultrasonic sensor to solve the problems of detecting small obstacles, and transparent obstacles, e.g. the French door. For totally blind people, three kinds of auditory cues were developed to inform the direction where they can go ahead. Whereas for weak sighted people, visual enhancement which leverages the AR (Augment Reality) technique and integrates the traversable direction is adopted. The prototype consisting of a pair of display glasses and several low cost sensors is developed, and its efficiency and accuracy were tested by a number of users. The experimental results show that the smart guiding glasses can effectively improve the user's travelling experience in complicated indoor environment. Thus it serves as a consumer device for helping the visually impaired people to travel safely.

연구 동기 및 목표

• 시각 장애인이 복잡한 실내 환경을 이동할 때 겪는 과제를 해결하기 위해.
• 기존 전자 이동 보조기기(ETAs)의 한계, 특히 유리 문과 같은 작은 또는 투명한 장애물을 탐지하지 못하는 문제를 극복하기 위해.
• 청각 신호와 AR 기반 시각적 강화 신호를 포함한 다중 모odal 피드백을 통해 완전 시각 장애자와 저시력자에게 맞춤형 안내를 제공하기 위해.
• 일반 소매 센서와 실시간 센서 융합 기술을 활용해 저비용, 착용 가능한 실용적인 소비자 기기로 개발하기 위해.
• 실제 실내 환경에서의 사용자 테스트를 통해 시스템의 효과성을 검증하기 위해.

제안 방법

• 스마트 안경 프로토타입은 깊이 센서(예: RGB-D 카메라)와 초음파 센서를 통합하여 3차원 장애물 탐지를 수행한다.
• 깊이 센서와 초음파 센서의 데이터를 융합하는 다중 센서 융합 알고리즘이 탐지 신뢰도를 향상시키고 거짓 음성 결과를 줄인다.
• 완전 시각 장애자에게는 안전한 전방 이동 경로, 좌/우 방향, 장애물 접근도를 나타내는 세 가지 구분된 청각 신호를 생성한다.
• 저시력자에게는 증강현실(AR) 인터페이스가 실시간 영상 피드에 방향 안내를 오버랩하여 통과 가능한 경로를 강조한다.
• 임베디드 컴퓨팅을 활용해 센서 데이터를 실시간으로 처리하여 낮은 지연 시간 피드백을 보장한다.
• 프로토타입은 저비용 구성 요소를 사용하여 실생활 실내 환경에서의 사용성과 가용성을 유지한다.

실험 결과

연구 질문

• RQ1 스마트 안경 시스템은 실내 환경에서 유리 문과 같은 작은 투명한 장애물을 효과적으로 탐지할 수 있는가?
• RQ2 깊이 센서와 초음파 센서의 다중 센서 융합이 단일 센서 시스템에 비해 장애물 탐지 정확도를 얼마나 향상시키는가?
• RQ3 청각 신호가 복잡한 실내 환경에서 완전 시각 장애자의 안전한 이동을 얼마나 향상시키는가?
• RQ4 증강현실(AR) 기반의 시각적 강화는 다이나믹한 실내 환경에서 저시력자의 이동 안내에 얼마나 효과적인가?
• RQ5 기존 ETAs에 비해 프로토타입이 사용자 경험과 이동 자신감을 상당히 향상시키는가?

주요 결과

• 다중 센서 융합 알고리즘이 프랑스식 문과 같은 작은 투명한 장애물을 성공적으로 탐지하였으며, 이는 단일 센서 시스템에서 자주 간과되는 문제를 해결했다.
• 청각 신호 덕분에 완전 시각 장애자들이 복잡한 실내 환경에서 방향 감각을 향상시키고 충돌 위험을 줄여 안전한 이동이 가능했다.
• AR 기반의 시각적 강화는 통과 가능한 경로를 명확히 표시함으로써 저시력자들의 길 찾기 성능과 자신감을 크게 향상시켰다.
• 사용자 테스트 결과, 프로토타입이 전반적인 이동 경험을 향상시켰으며, 참가자들은 안전성과 자율성 향상을 보고했다.
• 다양한 실내 환경에서 높은 정확도와 실시간 반응성을 입증하여, 소비자 기기로서의 실용성을 입증했다.
• 저비용 센서와 실시간 처리 기술의 통합으로, 광범위한 사용을 위한 저렴하면서도 효과적인 시스템을 확보했다.