[论文解读] Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System

Jiajun Zhang, Zhiguo Shi|arXiv (Cornell University)|Nov 6, 2017

Hand Gesture Recognition Systems参考文献 12被引用 4

一句话总结

该论文提出了一种可变形深度卷积生成对抗网络（De-DCGAN），用于基于微波的手势识别，以解决过拟合和推理时间过长的问题。通过整合可变形卷积、SELU激活函数以及基于GAN的数据增强，该模型在5.8GHz多普勒雷达采集的24种手势数据集上，将识别准确率提高了10%，测试时间减少了30%。

ABSTRACT

Traditional vision-based hand gesture recognition systems is limited under dark circumstances. In this paper, we build a hand gesture recognition system based on microwave transceiver and deep learning algorithm. A Doppler radar sensor with dual receiving channels at 5.8GHz is used to acquire a big database of hand gestures signals. The received hand gesture signals are then processed with time-frequency analysis. Based on these big databases of hand gesture, we propose a new machine learning architecture called deformable deep convolutional generative adversarial network. Experimental results show the new architecture can upgrade the recognition rate by 10% and the deformable kernel can reduce the testing time cost by 30%.

研究动机与目标

• 针对有限训练数据下的深度学习方法在微波手势识别中出现的过拟合和推理时间过长问题。
• 利用包含24种手势组合的大型但有限的数据集，提升细粒度手势分类的识别准确率。
• 在不损害模型性能的前提下降低测试时间，实现实时部署于低功耗设备。
• 评估可变形卷积与SELU激活函数在提升泛化能力和训练效率方面的有效性。
• 证明基于GAN的数据生成技术可用于增强真实雷达信号数据，从而提升分类性能。

提出的方法

• 所提出的De-DCGAN在判别器中用步长大卷积替代标准池化层，在生成器中使用转置卷积，以保留空间分辨率。
• 在生成器和判别器中均采用缩放指数线性单元（SELU）作为激活函数，以实现自归一化训练并改善收敛性。
• 在所有卷积层中应用可变形卷积核，通过可学习的偏移向量实现动态采样位置，更好地捕捉与手势相关的信号模式。
• 使用短时傅里叶变换（STFT）和连续小波变换（CWT）的时间-频率表示作为输入特征，以增强判别能力。
• 在真实手势数据上预训练后，将训练好的判别器独立用作分类器，无需额外的分类头。
• 通过生成器执行数据增强，以合成逼真的手势信号样本，有效扩展训练数据库。

实验结果

研究问题

• RQ1 基于GAN的架构结合可变形卷积是否能在真实数据有限的情况下提升微波手势识别的准确率？
• RQ2 与使用批归一化（Batch Normalization）的ReLU相比，SELU激活函数在识别性能和训练稳定性方面是否更具优势？
• RQ3 可变形卷积机制在保持或提升分类准确率的同时，能在多大程度上减少推理时间？
• RQ4 生成器是否能有效合成高质量、逼真的手势时间-频率表示，从而缓解过拟合？
• RQ5 与传统CNN相比，De-DCGAN在多样化手势类别上的泛化能力和鲁棒性如何？

主要发现

• 与传统CNN相比，De-DCGAN架构将平均手势识别率提高了10%，各手势识别率分别从72.3%提升至87.4%（手势1）、79.8%提升至93.3%（手势2）、75.7%提升至85.7%（手势3）和76.7%提升至90.9%（手势4）。
• 仅使用SELU激活函数即可达到与ReLU+批归一化相当的性能，手势2的识别率为90.6%，优于ReLU+BN（88.7%），表明SELU在无需批归一化的情况下也能提供自归一化优势。
• 可变形卷积机制将平均测试时间减少了30%，从传统CNN的641.5ms降至De-DCGAN的436.7ms，覆盖四种手势类别。
• 在25个训练周期后，生成器成功生成了高质量的手势时间-频率表示，有效扩充了真实数据集并减少了过拟合。
• 在训练后独立使用判别器作为分类器，可实现高准确率，证实基于GAN的架构可作为端到端分类器有效运行。
• 可变形卷积与基于GAN的数据合成相结合，显著提升了模型的泛化能力，尤其在复杂手势模式且数据量有限的情况下表现突出。