[논문 리뷰] Deep-Spying: Spying using Smartwatch and Deep Learning

Tony Beltramelli, Sebastian Risi|arXiv (Cornell University)|2015. 12. 17.

User Authentication and Security Systems참고 문헌 4인용 수 18

한 줄 요약

이 논문은 스마트워치에서 수집한 동작 센서 데이터를 기반으로 한 딥러닝 기반 사이드카나널 공격을 제안하며, 운동 신호를 통해 키보드 입력을 추론하는 방법을 시험한다. 순환 신경망(LSTM)은 물리적 키보드에서 95.8%의 정확도로 키로깅을 달성했고, 가상 키보드에서 92.1%의 정확도를 기록하여 기존의 얕은 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Wearable technologies are today on the rise, becoming more common and broadly available to mainstream users. In fact, wristband and armband devices such as smartwatches and fitness trackers already took an important place in the consumer electronics market and are becoming ubiquitous. By their very nature of being wearable, these devices, however, provide a new pervasive attack surface threatening users privacy, among others. In the meantime, advances in machine learning are providing unprecedented possibilities to process complex data efficiently. Allowing patterns to emerge from high dimensional unavoidably noisy data. The goal of this work is to raise awareness about the potential risks related to motion sensors built-in wearable devices and to demonstrate abuse opportunities leveraged by advanced neural network architectures. The LSTM-based implementation presented in this research can perform touchlogging and keylogging on 12-keys keypads with above-average accuracy even when confronted with raw unprocessed data. Thus demonstrating that deep neural networks are capable of making keystroke inference attacks based on motion sensors easier to achieve by removing the need for non-trivial pre-processing pipelines and carefully engineered feature extraction strategies. Our results suggest that the complete technological ecosystem of a user can be compromised when a wearable wristband device is worn.

연구 동기 및 목표

• 휴대용 손목밴드 장치(WAD)를 활용한 수동적 키로깅 공격의 실용적 가능성을 평가한다.
• 딥 뉴럴 네트워크가 운동 기반 키로깅에서 기존의 얕은 모델보다 우수한 성능을 내는지 조사한다.
• 스마트워치가 다양한 입력 장치에서 지속적이고 광범위한 사용자 입력 타лан트를 허용할 수 있음을 입증한다.
• 수동적인 특징 추출 없이 원시이고 노이즈가 많은 동작 센서 데이터에서 키보내기 분류에 대해 딥러닝 모델의 강건성을 평가한다.
• 스마트워치에서 수집된 동작 센서 데이터를 처리하고 분류하여 사용자 입력을 추론하는 프로토타입 시스템을 구축한다.

제안 방법

• 사용자가 물리적 및 가상 키보드를 타이핑하는 동안 스마트워치의 원시 동작 센서 데이터(가속도계 및 자이로스코프)를 수집하였다.
• 노이즈를 줄이고 신호 품질을 향상시키기 위해 캘리브레이션, 중앙값 필터링, 칼만 필터링을 사용해 센서 데이터를 전처리하였다.
• 시간 윈도우에서 추출한 통계적 특징(평균, 분산 등)을 기반으로 시그모이드 및 탄젠트 활성화 함수를 사용한 피드포워드 신경망(FNN)을 훈련시켰다.
• 원시 센서 시퀀스의 시간적 의존성을 모델링하기 위해 忘각 게이트와 페프홀 연결을 갖춘 순환 신경망(LSTM)을 구현하였다.
• 훈련 중 평균 제곱오차(MSE) 최적화를 사용하고, 혼동 행렬과 분류 정확도를 사용해 모델을 평가하였다.
• 세 가지 실험 시나리오(터치로깅, 키로깅, 교차 작업 추론)에서 다양한 아키텍처를 벤치마킹하였다.

실험 결과

연구 질문

• RQ1 스마트워치의 동작 센서 데이터를 사용해 물리적 및 가상 키보드에서 키보드 입력을 높은 정확도로 추론할 수 있는가?
• RQ2 수동적인 특징 추출에 의존하는 전통적인 얕은 모델에 비해, 운동 기반 키로깅에서 딥러닝 접근 방식이 더 우수한 성능을 내는가?
• RQ3 LSTM 기반 순환 신경망은 센서 데이터의 시간 패턴을 얼마나 잘 포착하여 키보내기 분류에 기여하는가?
• RQ4 터치로깅 데이터로 훈련된 모델이 재학습 없이도 물리적 키보드의 키보내기를 성공적으로 추론할 수 있는가?
• RQ5 다양한 전처리 기법과 네트워크 아키텍처가 키로깅 분류 성능에 미치는 영향은 무엇인가?

주요 결과

• LSTM 기반 모델은 물리적 키보드에서 키로깅 시 최고 95.8%의 정확도를 기록했으며, 피드포워드 네트워크보다 뚜렷하게 뛰어난 성능을 보였다.
• 가상 키보드에서의 터치로깅에서는 LSTM 모델이 92.1%의 정확도를 달성하여 터치 기반 입력에 대해 강력한 일반화 능력을 입증하였다.
• 모든 실험 조건에서 RNN-LSTM 모델이 FNN-Sigmoid 및 FNN-Tanh보다 우수했으며, 특히 노이즈가 많고 변동성이 큰 입력 패턴을 다룰 때 두각한 성능을 보였다.
• 엔드 투 엔드 학습을 통해 원시 센서 시퀀스를 입력으로 사용함으로써 수동적 특징 추출에 대한 의존도를 감소시켜 공격 파이프라인을 단순화시켰다.
• 터치로깅 데이터로 훈련된 모델는 교차 작업 추론에서 87.4%의 정확도를 기록하여 다양한 입력 유형 간 공통된 운동 패턴이 있음을 시사하였다.
• 칼만 필터링 및 중앙값 필터링과 같은 전처리 기법이 신호 품질을 크게 향상시키고 높은 분류 정확도에 기여하였다.