[論文レビュー] OrbTouch: Recognizing Human Touch in Deformable Interfaces with Deep Neural Networks.

Chris Larson, Josef Spjut+2 more|arXiv (Cornell University)|Jun 8, 2017

Tactile and Sensory Interactions参考文献 40被引用数 6

ひとこと要約

OrbTouchは、伸び縮みするコンデンサ信号を用いて、変形可能なインターフェース上の人体のタッチを深層学習ベースで解釈するフレームワークを導入し、正確なジェスチャーおよびタッチ位置特定を可能にしている。畳み込みニューラルネットワーク（CNN）を活用することで、リアルタイムの変形をカテゴリカルなラベルにマッピングし、Tetrisゲームインターフェースにおける頑健な制御を実証した。

ABSTRACT

User interfaces provide an interactive window between physical and virtual environments. A new concept in the field of human-computer interaction is a soft user interface; a compliant surface that facilitates touch interaction through deformation. Despite the potential of these interfaces, they currently lack a signal processing framework that can efficiently extract information from their deformation. Here we present OrbTouch, a device that uses statistical learning algorithms, based on convolutional neural networks, to map deformations from human touch to categorical labels (i.e., gestures) and touch location using stretchable capacitor signals as inputs. We demonstrate this approach by using the device to control the popular game Tetris. OrbTouch provides a modular, robust framework to interpret deformation in soft media, laying a foundation for new modes of human computer interaction through shape changing solids.

研究の動機と目的

• 変形可能なユーザーインターフェースにおける人体のタッチを変形から解釈できる信号処理フレームワークの開発。
• 伸び縮みするコンデンサセンサを用いて、タッチジェスチャーおよび位置をリアルタイムでマッピングすることの実現。
• 人間-コンピュータインタラクションにおける形状変化を示す固体を解釈するためのモジュラーで頑健なシステムの構築。
• Tetrisのようなリアルタイム制御タスクを通じて、実用的応用の妥当性を実証すること。

提案手法

• システムは、柔軟な表面における人体のタッチからの変形信号を捉えるために、伸び縮みする容量センサを用いる。
• 畳み込みニューラルネットワーク（CNN）は、センサ信号からタッチジェスチャーを分類し、タッチ位置を推定するために訓練される。
• CNNの入力は、変形可能なインターフェース全体における静電容量変化の空間マップである。
• ネットワークは、カテゴリカルラベル（例：ジェスチャー種別）およびタッチの空間座標を予測するために、エンドツーエンドで訓練される。
• フレームワークは、さまざまなソフトインターフェースの形状および素材に適応可能なモジュラー設計を採用している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、変形可能な表面における伸び縮みするコンデンサ信号から、タッチジェスチャーを正確に分類できるか？
• RQ2 このシステムは、ソフトで柔軟なインターフェース上でのタッチの空間的位置を信頼性高く推定できるか？
• RQ3 このシステムは、タッチ圧力、速度、表面変形の変動に対してどれほど頑健か？
• RQ4 このフレームワークは、ゲームのようなリアルタイムインタラクティブアプリケーションに効果的に応用できるか？

主な発見

• CNNを用いることで、このシステムはタッチ変形を高い正確性でカテゴリカルジェスチャーにマッピングできた。
• OrbTouchは、ソフトインターフェース上でのリアルタイムタッチ位置特定を実現し、インタラクティブアプリケーションへの実現可能性を示した。
• 学習ベースの信号処理のおかげで、圧力や速度などのタッチダイナミクスの変動に対しても、このフレームワークは頑健であった。
• このアプローチにより、タッチに起因する変形のみを用いてTetrisゲームを効果的に制御でき、実用的価値の妥当性が検証された。