[논문 리뷰] OrbTouch: Recognizing Human Touch in Deformable Interfaces with Deep Neural Networks.

Chris Larson, Josef Spjut외 2명|arXiv (Cornell University)|2017. 06. 08.

Tactile and Sensory Interactions참고 문헌 40인용 수 6

한 줄 요약

OrbTouch는 유연한 인터페이스에서의 인간의 촉각을 편평한 커패시터 신호를 통해 해석하는 딥러닝 기반 프레임워크를 도입하여 정확한 제스처 및 촉각 위치 추적을 가능하게 한다. 컨volutional 신경망을 활용해 실시간 변형을 분류 레이블로 매핑함으로써 테트리스 게임 인터페이스에서 강건한 제어를 구현한다.

ABSTRACT

User interfaces provide an interactive window between physical and virtual environments. A new concept in the field of human-computer interaction is a soft user interface; a compliant surface that facilitates touch interaction through deformation. Despite the potential of these interfaces, they currently lack a signal processing framework that can efficiently extract information from their deformation. Here we present OrbTouch, a device that uses statistical learning algorithms, based on convolutional neural networks, to map deformations from human touch to categorical labels (i.e., gestures) and touch location using stretchable capacitor signals as inputs. We demonstrate this approach by using the device to control the popular game Tetris. OrbTouch provides a modular, robust framework to interpret deformation in soft media, laying a foundation for new modes of human computer interaction through shape changing solids.

연구 동기 및 목표

• 인간의 촉각을 변형을 통해 해석할 수 있는 소프트하고 변형 가능한 사용자 인터페이스를 위한 신호 처리 프레임워크를 개발하는 것.
• 유연한 커패시터 센서를 사용하여 실시간으로 제스처와 위치를 매핑하는 것.
• 형태가 변화하는 고체를 인간-컴퓨터 상호작용에서 해석하기 위한 모듈식이고 강건한 시스템을 구축하는 것.
• 실시간 제어 작업(예: 테트리스 플레이)을 통해 실용적 적용 가능성을 입증하는 것.

제안 방법

• 시스템은 인간의 촉각에 의해 발생하는 변형 신호를 측정하기 위해 유연한 커패시터 센서를 사용한다.
• 컨volutional 신경망(CNN)은 센서 신호에서 제스처 유형과 촉각 위치를 분류 및 추정하기 위해 훈련된다.
• CNN의 입력은 변형 가능한 인터페이스 전역의 커패시턴스 변화의 공간적 맵이다.
• 네트워크는 종단 간(end-to-end)으로 분류 레이블(예: 제스처 유형)과 촉각의 공간 좌표를 예측하도록 훈련된다.
• 프레임워크는 다양한 부드러운 인터페이스 기하학적 형태와 재질에 적응 가능하도록 모듈식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 변형 가능한 표면에서의 유연한 커패시터 신호로부터 제스처를 정확하게 분류할 수 있는가?
• RQ2 시스템은 부드럽고 탄성 있는 인터페이스에서 촉각의 공간적 위치를 신뢰성 있게 추정할 수 있는가?
• RQ3 시스템은 촉각 압력, 속도 및 표면 변형의 변화에 대해 얼마나 강건한가?
• RQ4 이 프레임워크는 게임과 같은 실시간 상호작용 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• CNN을 사용하여 제스처 변형을 고정밀도로 분류함으로써 시스템은 높은 정확도로 제스처를 매핑한다.
• OrbTouch는 부드러운 인터페이스에서 실시간 촉각 위치 추적을 가능하게 하여 상호작용 응용 분야의 실현 가능성을 입증한다.
• 학습 기반 신호 처리 덕분에 압력 및 속도와 같은 촉각 다이내믹스의 변동성에 대해 강건한 프레임워크이다.
• 촉각 유도 변형만을 사용하여 테트리스 게임을 효과적으로 제어할 수 있음을 입증함으로써 실용적 유용성이 확인된다.