[논문 리뷰] Adversary Helps: Gradient-based Device-Free Domain-Independent Gesture Recognition

Jianwei Liu, Jinsong Han외 2명|arXiv (Cornell University)|2020. 04. 08.

Hand Gesture Recognition Systems참고 문헌 22인용 수 5

한 줄 요약

이 논문은 기울기 기반 적대적 훈련을 사용하여 도메인 독립적, 장치 비의존적 제스처 인식을 위한 새로운 프레임워크인 DI를 제안한다. 새로운 딥 모델(AH-Net)을 통해 기울기 맵의 부호 맵을 도메인 갭 제거기로 활용함으로써, DI는 10개의 제스처와 10개의 도메인에서 CNN 기반으로 최신 기술 수준의 정확도 94.45%를 달성하며, 기존 방법의 제약 조건(예: 제스처 유형 제한, 높은 계산 비용)을 피하면서도 그들을 능가한다.

ABSTRACT

Wireless signal-based gesture recognition has promoted the developments of VR game, smart home, etc. However, traditional approaches suffer from the influence of the domain gap. Low recognition accuracy occurs when the recognition model is trained in one domain but is used in another domain. Though some solutions, such as adversarial learning, transfer learning and body-coordinate velocity profile, have been proposed to achieve cross-domain recognition, these solutions more or less have flaws. In this paper, we define the concept of domain gap and then propose a more promising solution, namely DI, to eliminate domain gap and further achieve domain-independent gesture recognition. DI leverages the sign map of the gradient map as the domain gap eliminator to improve the recognition accuracy. We conduct experiments with ten domains and ten gestures. The experiment results show that DI can achieve the recognition accuracies of 87.13%, 90.12% and 94.45% on KNN, SVM and CNN, which outperforms existing solutions.

연구 동기 및 목표

• WiFi 기반 제스처 인식에서 발생하는 도메인 갭 문제를 해결함으로써, 한 환경에서 훈련된 모델이 다른 환경에 배포될 때 정확도가 떨어지는 문제를 해결한다.
• 제스처 유형에 특화된 제약 조건이나 높은 계산 오버헤드에 의존하지 않고 진정으로 도메인 독립적 제스처 인식을 가능하게 하는 해결책을 개발한다.
• 기울기 부호 맵에서 유도된 적대적 예제를 활용하여 도메인 갭을 제거함으로써 다양한 환경 간의 강건성을 확보한다.
• EI, CrossSense, WiAG, Widar3.0와 같은 기존 방법들보다 정확도와 일반화 능력 면에서 뛰어난 성능을 달성한다.

제안 방법

• 도메인 특화 제스처 신호를 도메인 독립적 표현으로 변환하기 위해 새로운 딥 신경망(AH-Net)을 사용하는 DI 프레임워크를 제안한다.
• 빠른 기울기 부호 방법(FGSM)을 사용하여 적대적 샘플을 생성하며, 기울기 맵의 부호를 도메인 갭 제거기(DGE)로 활용하여 도메인 이동을 최소화한다.
• DGE를 적용하여 특징 표현을 재가중함으로써 훈련 중에 도메인 불변 특징을 학습한다.
• 분류 손실과 DGE를 통한 도메인 갭 제거를 포함하는 병합 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 도메인 불변 특징 추출 후 KNN, SVM, CNN 등의 다수의 분류기들을 지원하여 제스처 인식을 수행한다.
• t-SNE 시각화를 통해 DI 처리 후 도메인 특화 클러스터가 통합된 특징 공간으로 융합됨을 확인한다.

실험 결과

연구 질문

• RQ1 기울기 기반 적대적 기법이 다양한 환경 간의 WiFi 기반 제스처 인식에서 도메인 갭을 효과적으로 제거할 수 있는가?
• RQ2 제안된 DI 프레임워크가 기존의 도메인 간 제스처 인식 방법보다 더 높은 인식 정확도를 달성하는가?
• RQ3 DI는 Widar3.0과 같이 속도 기반 방법에서 자주 제외되는 정적 제스처 인식을 지원할 수 있는가?
• RQ4 도메인 갭 제거기의 하이퍼파rameter α가 다양한 분류기들에서 모델 성능에 미치는 영향은 어떠한가?
• RQ5 DI 프레임워크는 계산적으로 효율적이며, 다양한 제스처와 도메인에 일반화 가능한가?

주요 결과

• DI는 CNN 기반으로 94.45%의 인식 정확도를 달성하며, Widar3.0(92.70%) 및 WiAG(91.40%)와 같은 기존 방법들을 크게 능가한다.
• KNN 및 SVM 기반 정확도는 각각 87.13% 및 90.12%를 기록하며, EI 및 CrossSense의 성능을 모두 초월한다.
• CNN의 최적 하이퍼파rameter α는 최대 정확도를 얻기 위해 0.04이며, KNN 및 SVM의 최적 α는 각각 0.19로 성능이 최고에 이르렀다.
• t-SNE 시각화를 통해 도메인 갭이 성공적으로 제거되었으며, 다양한 도메인과 제스처 간에 클러스터가 융합된 것을 확인하였다.
• DI는 정적 제스처 인식을 지원하며, Widar3.0와 달리 속도 프로파일에 의존하기 때문에 정적 제스처에서 실패하는 문제를 해결한다.
• DI는 제스처 백분율 제약 조건을 피하고, 기본 학습 모델을 3개 이하로 사용하여 CrossSense보다 계산적으로 더 효율적이다.