[論文レビュー] Hand Gesture Recognition with Two Stage Approach Using Transfer Learning and Deep Ensemble Learning

Serkan Savaş, Atilla Ergüzen|arXiv (Cornell University)|Sep 20, 2023

Hand Gesture Recognition SystemsComputer Science被引用数 3

ひとこと要約

本稿では、HG14データセット上で転移学習とディープアンサンブル学習を組み合わせた2段階のハンドジェスチャー認識フレームワークを提案する。事前学習済みのVGGおよびMobileNetモデルを微調整し、その予測をディリクレ手法を用いてアンサンブル化した結果、98.88%の正確性を達成した。これは個々のモデルを著しく上回り、HCIアプリケーションにおけるアンサンブル手法の有効性を示している。

ABSTRACT

Human-Computer Interaction (HCI) has been the subject of research for many years, and recent studies have focused on improving its performance through various techniques. In the past decade, deep learning studies have shown high performance in various research areas, leading researchers to explore their application to HCI. Convolutional neural networks can be used to recognize hand gestures from images using deep architectures. In this study, we evaluated pre-trained high-performance deep architectures on the HG14 dataset, which consists of 14 different hand gesture classes. Among 22 different models, versions of the VGGNet and MobileNet models attained the highest accuracy rates. Specifically, the VGG16 and VGG19 models achieved accuracy rates of 94.64% and 94.36%, respectively, while the MobileNet and MobileNetV2 models achieved accuracy rates of 96.79% and 94.43%, respectively. We performed hand gesture recognition on the dataset using an ensemble learning technique, which combined the four most successful models. By utilizing these models as base learners and applying the Dirichlet ensemble technique, we achieved an accuracy rate of 98.88%. These results demonstrate the effectiveness of the deep ensemble learning technique for HCI and its potential applications in areas such as augmented reality, virtual reality, and game technologies.

研究の動機と目的

• 人間-コンピュータインタラクション（HCI）におけるハンドジェスチャー認識の正確性を向上させること。
• 14のジェスチャークラスを有するHG14データセット上で、事前学習済みの深層ニューラルネットワークの性能を評価すること。
• 複数の高性能モデルを統合するアンサンブル学習の有効性を検討すること。
• 拡張現実や仮想現実などの応用分野における、提案手法の実用的潜在能力を示すこと。

提案手法

• 転移学習を用いて、HG14データセット上で22の事前学習済みディープラーニングモデル（VGGNetおよびMobileNetの変種を含む）を微調整した。
• 性能が最も優れた4つのモデル（VGG16、VGG19、MobileNet、MobileNetV2）を選定し、アンサンブル統合に用いた。
• ベースラーナーの予測を統合するために、ディリクレアンサンブル手法を適用し、融合プロセスを最適化した。
• 2段階のアプローチを採用した：まず転移学習によるモデル学習を行い、その後アンサンブルベースの予測統合を実施した。
• HG14データセットのテスト分割に対して、標準的な正確性指標を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みモデルを用いた転移学習は、HG14データセットにおけるハンドジェスチャー認識で高い正確性を達成できるか？
• RQ2 HG14データセットにおいて、ハンドジェスチャー分類に最も適したディープラーニングアーキテクチャは何か？
• RQ3 アンサンブル学習は、個々のモデルを上回る認識正確性を著しく向上させることができるか？
• RQ4 ディリクレに基づくアンサンブル手法は、複数の高性能モデルからの予測を効果的に統合できるか？

主な発見

• MobileNetは評価対象のモデルの中で最高の個別正確性96.79%を達成した。
• VGG16とVGG19は、それぞれ94.64%および94.36%の正確性を示し、優れた性能を発揮した。
• 4つの最高性能モデルを統合したディープアンサンブルモデルは98.88%の正確性に達し、個々のモデルを著しく上回った。
• ディリクレアンサンブル手法は、多様な予測を効果的に活用し、誤差を低減するとともに、モデルのロバスト性を向上させた。