[논문 리뷰] Robust Machine Learning for Encrypted Traffic Classification

Amit Dvir, Yehonatan Zion외 4명|arXiv (Cornell University)|2016. 03. 15.

Internet Traffic Analysis and Secure E-voting참고 문헌 67인용 수 5

한 줄 요약

이 논문은 악성 대응 조치가 있음에도 불구하고 암호화된 HTTPS 트래픽을 분류하여 사용자 신원(OS, 브라우저, 애플리케이션)을 추론할 수 있는 강건한 기계학습 프레임워크를 제안한다. SSL/TLS 핸드셰이크 행동 및 브라우저 트래픽 버스트에서 유도된 새로운 특징을 활용함으로써, 시스템은 96.06%의 정확도를 달성하며, 프로토콜 변경(암호 세트 변경 시 94% 정확도)과 네트워크 오버뷰레이션(VPN 사용 시 83% 정확도)에 매우 강건하게 대응한다. 또한, 최소한의 훈련 데이터나 짧은 세션 시간 조건에서도 성능이 유지된다.

ABSTRACT

Desktops and laptops can be maliciously exploited to violate privacy. In this paper, we consider the daily battle between the passive attacker who is targeting a specific user against a user that may be adversarial opponent. In this scenario, while the attacker tries to choose the best vector attack by surreptitiously monitoring the victims encrypted network traffic in order to identify users parameters such as the Operating System (OS), browser and apps. The user may use tools such as a Virtual Private Network (VPN) or even change protocols parameters to protect his/her privacy. We provide a large dataset of more than 20,000 examples for this task. We run a comprehensive set of experiments, that achieves high (above 85) classification accuracy, robustness and resilience to changes of features as a function of different network conditions at test time. We also show the effect of a small training set on the accuracy.

연구 동기 및 목표

• 엔드 투 엔드 암호화에도 불구하고 피사체의 트래픽 분석 위협이 증가하고 있음에 대응하기 위해.
• 사용자가 탐지 회피를 위해 노력함에도 불구하고 암호화된 트래픽에서 사용자 OS, 브라우저, 애플리케이션을 신뢰성 있게 추론할 수 있는 기계학습 시스템을 개발하기 위해.
• 테스트 중에 VPN 사용이나 암호 세트 변경과 같은 악성 행동에 대한 강건성을 평가하기 위해.
• 제한된 훈련 데이터나 짧은 세션 지속 시간과 같은 현실적인 제약 조건 하에서의 성능을 평가하기 위해.
• 위협 인텔리전스 및 프라이버시 분석을 위한 실용적이고 실시간 분류 시스템을 제공하기 위해.

제안 방법

• 시스템은 SSL/TLS 핸드셰이크 패턴과 애플리케이션 수준의 트래픽 버스트에서 새로운 특징을 추출하며, 주로 시간 간격과 패킷 크기 분포에 중점을 둔다.
• 대규모 자동 레이블링된 데이터셋(20,633개의 암호화된 트래픽 세션)을 기반으로 훈련된 지도 학습 분류기(KNN, RBF 커널을 사용한 SVM, 랜덤 포레스트)를 사용한다.
• 특징으로는 패킷 간 도착 간격의 피크 탐지, 트래픽 버스트의 통계적 요약, 일반적인 프로토콜 수준 통계가 포함된다.
• 시스템은 악성 조건 하에서 평가되며, 사용자가 테스트 중에 암호 세트를 변경하거나 VPN을 사용하는 경우를 대비해, 모델은 표준 설정에서 훈련된다.
• 훈련 과정에서는 인간 레이블링의 부담을 줄이기 위해 자동 레이블링을 사용하며, 모델은 점진적으로 짧아지는 세션 윈도우(1초에서 10분까지)에서 테스트된다.
• 강건성은 프로토콜 변경 및 데이터 감소에 따른 정확도 저하를 통해 평가되며, 다양한 분류기 간 성능을 측정한다.

실험 결과

연구 질문

• RQ1 강력한 암호화가 존재함에도 불구하고 기계학습을 통해 암호화된 HTTPS 트래픽에서 사용자 OS, 브라우저, 애플리케이션을 정확하게 분류할 수 있는가?
• RQ2 사용자가 VPN이나 암호 세트 변경 도구를 사용해 탐지 회피를 시도할 경우 시스템의 성능은 어떻게 되는가?
• RQ3 제한된 훈련 데이터나 짧은 세션 지속 시간이 분류 정확도에 미치는 영향은 무엇인가?
• RQ4 SSL/TLS 행동 및 트래픽 버스트성에서 유도된 새로운 특징이 분류 강건성에 어떤 영향을 미치는가?
• RQ5 추론 중에 악성 조작이 발생하더라도 시스템이 얼마나 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 시스템은 SSL/TLS 핸드셰이크 및 트래픽 버스트 패턴에서 유도된 새로운 특징을 활용하여 사용자 OS, 브라우저, 애플리케이션을 식별하는 데 96.06%의 분류 정확도를 달성한다.
• 사용자가 테스트 중에 암호 세트를 변경하는 경우(일반적인 대응 조치)에도 시스템은 94%의 정확도를 유지하며, 프로토콜 수준의 오버뷰레이션에 강력한 저항성을 보인다.
• 테스트 중에 VPN을 사용할 경우 정확도는 83%로 떨어지지만, 여전히 효과적이며, 네트워크 수준의 오버뷰레이션이 분류기를 완전히 무력화하지는 않는다는 것을 보여준다.
• 전체 데이터셋의 2.4%에 해당하는 500개의 훈련 샘플만으로도 시스템은 85%의 정확도를 달성하며, 소규모 데이터셋에서도 강력한 일반화 능력을 보인다.
• 1초의 짧은 세션 시간이라도 성능에 거의 영향을 주지 않으며, 10초 세션에서는 정확도가 약 94%로 유지되고 1초 결과와 유사한 성능을 보여, 실시간 구현이 가능하다.
• 모든 분류기에서 테스트 시간이 1초 이내로 유지되어 실시간 네트워크 모니터링 및 배포 가능성에 부합한다.