[논문 리뷰] Unsupervised Domain Adaptation for RF-based Gesture Recognition

Bin-Bin Zhang, Dongheng Zhang외 3명|arXiv (Cornell University)|2021. 11. 20.

Indoor and Outdoor Localization Technologies참고 문헌 63인용 수 7

한 줄 요약

이 논문은 레이더 기반 비접촉 손짓 인식을 위한 비지도 도메인 적응 프레임워크를 제안하며, 가짜 레이블링, 일致성 정규화, 무작위 기능 지우기 기반 데이터 증강, 신뢰도 제어를 통해 도메인 간 일반화 능력을 향상시킨다. 이 방법은 레이블이 없는 타겟 도메인 데이터를 효과적으로 활용하여 Wi-Fi 및 밀리미터파 레이더 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human gesture recognition with Radio Frequency (RF) signals has attained acclaim due to the omnipresence, privacy protection, and broad coverage nature of RF signals. These gesture recognition systems rely on neural networks trained with a large number of labeled data. However, the recognition model trained with data under certain conditions would suffer from significant performance degradation when applied in practical deployment, which limits the application of gesture recognition systems. In this paper, we propose an unsupervised domain adaptation framework for RF-based gesture recognition aiming to enhance the performance of the recognition model in new conditions by making effective use of the unlabeled data from new conditions. We first propose pseudo-labeling and consistency regularization to utilize unlabeled data for model training and eliminate the feature discrepancies in different domains. Then we propose a confidence constraint loss to enhance the effectiveness of pseudo-labeling, and design two corresponding data augmentation methods based on the characteristic of the RF signals to strengthen the performance of the consistency regularization, which can make the framework more effective and robust. Furthermore, we propose a cross-match loss to integrate the pseudo-labeling and consistency regularization, which makes the whole framework simple yet effective. Extensive experiments demonstrate that the proposed framework could achieve 4.35% and 2.25% accuracy improvement comparing with the state-of-the-art methods on public WiFi dataset and millimeter wave (mmWave) radar dataset, respectively.

연구 동기 및 목표

• 도메인 간 이동 시 도메인 이동으로 인한 레이저 기반 손짓 인식 모델의 성능 저하 문제를 해결하기 위해.
• 타겟 도메인에서의 레이블이 필요 없이 도메인 간 일반화 능력을 향상시키기 위해.
• 레이블이 없는 타겟 도메인 데이터를 효과적으로 활용하는 효율적이고 종단 간 비지도 도메인 적응 프레임워크를 개발하기 위해.
• 도메인 적응 과정에서 모델 예측의 과도한 확신을 억제하기 위해 신뢰도 제어 제약 조건을 도입하기 위해.

제안 방법

• 교사 모델을 사용하여 레이블이 없는 타겟 도메인 샘플에 대해 고신뢰도 레이블을 생성하기 위해 가짜 레이블링을 적용한다.
• 동일한 입력 데이터의 원본 및 증강된 뷰 간의 일致성을 강제로 유지함으로써 일치성 정규화를 구현한다.
• 강건성 향상과 특징 학습 개선을 위해 무작위 기능 지우기 기반의 두 가지 데이터 증강 기법을 도입한다.
• 과도한 확신 예측을 억제하기 위해 신뢰도 제어 제약 조건을 사용하여 모델 캘리브레이션과 일반화 능력을 향상시킨다.
• 가짜 레이블링과 일치성 정규화를 공동 학습 체계에 통합하여 특징 정렬 및 분류 정확도를 향상시킨다.
• 예측 결과가 레이블이 없는 타겟 도메인 데이터에 대해 교사 모델이 학생 모델을 안내하는 이중 스트림 학습 전략을 활용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 도메인 데이터가 없는 조건에서 비지도 도메인 적응 기법이 레이저 기반 손짓 인식 모델의 도메인 간 성능 향상에 기여할 수 있는가?
• RQ2 가짜 레이블링과 일치성 정규화를 조합하여 레이저 신호 기반 손짓 인식에서 도메인 간 특징 정렬에 얼마나 효과적인가?
• RQ3 무작위 기능 지우기 기반의 데이터 증강 전략이 도메인 적응에서 레이저 신호의 모델 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 신뢰도 제어는 자원이 제한된 도메인 적응 환경에서 과도한 확신을 어떻게 완화하고 모델 성능을 향상시키는가?
• RQ5 최적의 성능을 위해 Wi-Fi 및 밀리미터파 데이터셋에서 임계값과 제약 조건 가중치 등의 하이퍼파rameter 설정은 어떻게 해야 하는가?

주요 결과

• 제안된 프레임워크는 Wi-Fi 데이터셋에서 평균 정확도 91.98%와 밀리미터파 레이더 데이터셋에서 95.65%를 기록하여 베이스라인 모델을 초월한다.
• 신뢰도 제어 제약 조건은 모델 성능 향상에 크게 기여하며, Wi-Fi의 경우 가중치 0.92, 밀리미터파의 경우 0.95일 때 최고 성능를 기록한다.
• 무작위 기능 지우기 기반 데이터 증강은 Wi-Fi 데이터셋에서 정확도를 1.25%p 향상시키고, 밀리미터파 레이더 데이터셋에서는 2.99%p 향상시킨다.
• 최적의 가짜 레이블 임계값은 Wi-Fi의 경우 0.92, 밀리미터파의 경우 0.95로, 레이블의 품질과 양의 균형을 이룬다.
• 절단 실험 결과, 가짜 레이블링, 일치성 정규화, 데이터 증강, 신뢰도 제어 모두가 최고 성능를 내기 위해 필수적임을 확인한다.
• 전체 모델는 안정적으로 수렴하며, 기본 모델이 수렴하지 못하는 경우에도 높은 정확도를 달성하여 제안된 구성 요소의 효과를 입증한다.