[論文レビュー] Motion-Based Handwriting Recognition

Junshen Kevin Chen, Wanze Xie+1 more|arXiv (Cornell University)|Jan 15, 2021

Hand Gesture Recognition Systems参考文献 22被引用数 4

ひとこと要約

本稿では、ビジュアル入力やディジタイザーパッドを必要とせず、スマートペンの慣性センサデータを用いたモーションベースの筆圧認識を提案する。20名の被験者が小文字を書いた際のヨー、ピッチ、ロール、加速度のデータを10,400件収集し、データ拡張、自己符号化器を用いたノイズ除去、KNN、SVM、CNN、RNN分類器の訓練を実施。ランダム分割では86.6%の精度、被験者分割では53.6%の精度を達成。RNNに加えてデータ拡張とノイズ除去を適用した場合が最良の性能を示した。

ABSTRACT

We attempt to overcome the restriction of requiring a writing surface for handwriting recognition. In this study, we design a prototype of a stylus equipped with motion sensor, and utilizes gyroscopic and acceleration sensor reading to perform written letter classification using various deep learning techniques such as CNN and RNNs. We also explore various data augmentation techniques and their effects, reaching up to 86% accuracy.

研究の動機と目的

• VR/AR環境やペンのみの環境において、ビジュアル入力やディジタイザーパッドを必要としない手書き文字の認識に課題を提起し、それに対して対処すること。
• スマートペンのヨー、ピッチ、ロール、加速度のモーションセンサデータのみを用いて、手書き文字を分類するという、新たな問題を定義し、その解決を図ること。
• 自作のハードウェアセットを用いて、20名の被験者から10,400件の手書き小文字シーケンスを収集し、多様性のある新しいデータセットを構築すること。
• 特徴量補間、データ拡張、自己符号化器を用いたノイズ除去、複数の分類器を統合した、モーションベース認識に向けた堅牢なパイプラインを開発すること。
• 特に被験者間の差が生じる訓練・テスト被験者に分離した設定における、モデルの一般化性能を評価すること。

提案手法

• MPU9250の9軸IMU、Arduino Uno、3Dプリントされたペンマウントを用いた自作ハードウェアシステムを構築し、書いている最中のリアルタイムなモーションデータを収集した。
• 20名の被験者から、それぞれの小文字について20シーケンスずつ収集し、合計10,400件のシーケンスを取得。タイムスタンプ付きのヨー、ピッチ、ロール、加速度値を含む。
• 可変長のシーケンスを整列させるために特徴量補間を適用し、トレーニングの多様性を高めるためにデータ拡張を実施。さらに、センサノイズを低減するため、ノイズ除去用の自己符号化器を用いた。
• 前処理済みのモーションシーケンスを用いて、KNN、SVM、CNN、RNNの4種類の分類器を訓練し、入力された文字を予測する。
• ランダム分割（全被験者を混合）と被験者分割（訓練とテストで被験者を分離）の2つの設定でモデルを評価。データ拡張とノイズ除去のアブレーションスタディも実施。
• 混同行列とパフォーマンス追跡を用いて、モデルの挙動を分析。特に、被験者間の筆圧スタイルの違いによる過学習と一般化性能の低下を評価。

実験結果

リサーチクエスチョン

• RQ1 ビジュアル入力やディジタイザーパッドを一切使用せず、ペンのモーションセンサデータのみで、手書き文字認識を効果的に行うことは可能か？
• RQ2 自己符号化器によるノイズ除去とデータ拡張は、モーションベースの手書き認識におけるモデルの一般化性能にどのように影響するか？
• RQ3 KNN、SVM、CNN、RNNといった異なる分類器は、筆圧スタイルの異なる被験者間でどの程度一般化できるか？
• RQ4 データ分割の方法（ランダム分割 vs. 被験者ベース分割）がモデルのパフォーマンスに顕著な影響を与えるか。その理由は何か？
• RQ5 主な性能制限要因として、センサデータの特徴の明確さや被験者間の筆圧スタイルのばらつきが挙げられるが、その影響はどの程度か？

主な発見

• ランダム分割実験で最も高い性能を示したのは、データ拡張とノイズ除去自己符号化器を併用したRNNで、86.6%の精度を達成した。
• 被験者分割評価では、最良のモデルでも53.6%の精度にとどまり、異なる筆圧習慣への一般化に大きな課題があることが示された。
• データ拡張は、すべてのモデルでテスト精度を向上させ、特に被験者分割設定において過学習を軽減した。
• 自己符号化器によるノイズ除去は、全モデルで0.6～1.0パーセンテージポイントの精度向上をもたらし、センサノイズが学習を妨げていることを裏付けた。
• SVMとKNNは被験者分割設定で一般化がうまくいかず、KNNではわずか12.8%の精度にとどまった。これは、時系列情報を考慮しないモデルの限界を示している。
• すべてのモデルが被験者分割実験で深刻な過学習を示した。これは、筆圧スタイルのばらつきが一般化の主要な障壁であることを示唆している。