[논문 리뷰] Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System

Jiajun Zhang, Zhiguo Shi|arXiv (Cornell University)|2017. 11. 06.

Hand Gesture Recognition Systems참고 문헌 12인용 수 4

한 줄 요약

이 논문은 제한된 학습 데이터로 인한 과적합과 긴 추론 시간 문제를 해결하기 위해 마이크로파이브 기반 손동작 인식을 위한 변형 가능 딥 컨volution 제너레이티브 적대 신경망(De-DCGAN)을 제안한다. 변형 가능 컨볼루션, SELU 활성화 함수, 그리고 GAN 기반 데이터 증강을 통합함으로써, 5.8GHz 도플러 레이더를 통해 확보한 24가지 동작 데이터셋에서 정확도를 10% 향상시키고 테스트 시간을 30% 단축시켰다.

ABSTRACT

Traditional vision-based hand gesture recognition systems is limited under dark circumstances. In this paper, we build a hand gesture recognition system based on microwave transceiver and deep learning algorithm. A Doppler radar sensor with dual receiving channels at 5.8GHz is used to acquire a big database of hand gestures signals. The received hand gesture signals are then processed with time-frequency analysis. Based on these big databases of hand gesture, we propose a new machine learning architecture called deformable deep convolutional generative adversarial network. Experimental results show the new architecture can upgrade the recognition rate by 10% and the deformable kernel can reduce the testing time cost by 30%.

연구 동기 및 목표

• 제한된 학습 데이터로 인한 딥 러닝 기반 마이크로파이브 손동작 인식에서의 과적합과 긴 추론 시간 문제를 해결하기 위해.
• 24가지 동작 조합으로 구성된 크기는 크지만 제한된 데이터셋을 활용해 세밀한 손동작 분류의 정확도를 향상시키기 위해.
• 모델 성능을 저하시키지 않으면서 테스트 시간을 단축시켜 저전력 장치에서 실시간 구동을 가능하게 하기 위해.
• 변형 가능 컨볼루션과 SELU 활성화 함수가 일반화 능력 향상과 학습 효율성 향상에 기여하는지 평가하기 위해.
• GAN 기반 데이터 생성 기법이 실제 레이더 신호 데이터를 보완하여 분류 성능 향상에 기여할 수 있는지 실현 가능성을 입증하기 위해.

제안 방법

• 제안된 De-DCGAN은 판별자에서 표준 풀링 레이어를 스트라이드 컨볼루션으로, 생성자에서 전치 컨볼루션으로 대체하여 공간 해상도를 유지한다.
• 스케일드 지수선형 단위(SELU)는 생성자와 판별자 양쪽 모두의 활성화 함수로 사용되어 자기정규화 학습을 가능하게 하고 수렴성을 향상시킨다.
• 모든 컨볼루션 레이어에 변형 가능 컨볼루션 커널을 적용하여 학습 가능한 오프셋 벡터를 통해 동적으로 샘플링 위치를 조정함으로써 손동작 특화 신호 패턴을 더 잘 포착할 수 있도록 한다.
• 시간-주파수 표현은 단기 푸리에 변환(STFT)과 연속 웨이블릿 변환(CWT)을 통해 입력 특징으로 사용되어 분류 능력을 향상시킨다.
• 실제 손동작 데이터로 사전 학습한 후 판별자는 별도의 분류기 헤드 없이 독립적으로 분류기로 사용될 수 있다.
• 데이터 증강은 생성자를 통해 실재적인 손동작 신호 샘플을 합성함으로써 실질적으로 학습 데이터베이스를 확장한다.

실험 결과

연구 질문

• RQ1 제한된 실제 데이터로 인한 마이크로파이브 기반 손동작 인식에서 변형 가능 컨볼루션을 통합한 GAN 기반 아키텍처가 정확도 향상에 기여하는가?
• RQ2 SELU 활성화 함수가 배치 정규화와 함께 사용된 ReLU보다 정확도 성능과 학습 안정성 측면에서 뛰어나지 않는가?
• RQ3 변형 가능 컨볼루션 메커니즘이 분류 정확도를 유지하거나 향상시키면서 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 생성자가 고품질이고 현실적인 시간-주파수 표현을 효과적으로 합성하여 과적합을 완화할 수 있는가?
• RQ5 전통적인 CNN에 비해 De-DCGAN은 다양한 손동작 유형에 걸쳐 일반화 능력과 강인성 측면에서 어떻게 비교되는가?

주요 결과

• De-DCGAN 아키텍처는 전통적인 CNN 대비 평균 손동작 인식률을 10% 향상시켰으며, 개별 동작의 인식률은 각각 제1동작(72.3% → 87.4%), 제2동작(79.8% → 93.3%), 제3동작(75.7% → 85.7%), 제4동작(76.7% → 90.9%)으로 상승했다.
• SELU 활성화 함수만으로도 배치 정규화가 필요한 ReLU와 유사한 성능을 달성했으며, 제2동작의 경우 90.6%의 인식률을 기록하여 ReLU+BN(88.7%)을 초월했다. 이는 SELU가 배치 정규화 없이도 자기정규화 이점을 제공함을 시사한다.
• 변형 가능 컨볼루션 메커니즘은 평균 테스트 시간을 30% 단축시켰으며, 전통적 CNN의 641.5ms에서 De-DCGAN의 436.7ms로 감소시켰다.
• 25개 학습 에포크 후 생성자는 고해상도의 시간-주파수 표현을 효과적으로 생성하여 실제 데이터셋을 보완하고 과적합을 감소시켰다.
• 학습 후 독립적으로 사용된 판별자는 높은 정확도를 달성하여 GAN 기반 아키텍처가 종단간 분류기로 효과적으로 기능할 수 있음을 확인했다.
• 변형 가능 컨볼루션과 GAN 기반 데이터 합성의 조합은 특히 복잡한 동작 패턴과 제한된 데이터 환경에서 모델의 일반화 능력을 크게 향상시켰다.