[논문 리뷰] p-FP: Extraction, Classification, and Prediction of Website Fingerprints with Deep Learning

Se Eun Oh, Saikrishna Sunkam외 1명|arXiv (Cornell University)|2017. 11. 10.

Internet Traffic Analysis and Secure E-voting참고 문헌 20인용 수 9

한 줄 요약

이 논문은 CNN과 오토인코더를 사용하여 암호화된 웹 트래픽을 자동으로 분류하는 딥러닝 프레임워크 p-FP를 제안한다. 다양한 시나리오—Tor, 검색 쿼리, TLS 암호화된 사이트—에서 DNN이 기존 최고 수준의 방법보다 뛰어난 성능을 보이며, 진짜 양성률은 최대 95%에 달하고, 거짓 양성률은 0.04%에 그친다. 또한 HTML 기능만을 사용하여 웹사이트의 지문 가능성(지문 분석에 취약한 정도)을 99% 정확도로 예측하는 MLP 기반 예측기까지 제안한다.

ABSTRACT

Recent advances in learning Deep Neural Network (DNN) architectures have received a great deal of attention due to their ability to outperform state-of-the-art classifiers across a wide range of applications, with little or no feature engineering. In this paper, we broadly study the applicability of deep learning to website fingerprinting. We show that unsupervised DNNs can be used to extract low-dimensional feature vectors that improve the performance of state-of-the-art website fingerprinting attacks. When used as classifiers, we show that they can match or exceed performance of existing attacks across a range of application scenarios, including fingerprinting Tor website traces, fingerprinting search engine queries over Tor, defeating fingerprinting defenses, and fingerprinting TLS-encrypted websites. Finally, we show that DNNs can be used to predict the fingerprintability of a website based on its contents, achieving 99% accuracy on a data set of 4500 website downloads.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN)가 수작업 특징 공학에 의존하는 것을 줄이며 웹사이트 지문 분석(WF) 공격에 적용 가능한지 조사하기 위해.
• 특히 CNN과 MLP를 포함한 DNN의 성능을, 개방형 세계, 다중 클래스, 방어 회피 설정 등 다양한 WF 시나리오에서 평가하기 위해.
• 기존 WF 분류기의 성능을 향상시키기 위해 저차원 표현(최소 20차원)을 학습하는 비지도 특징 추출기로 오토인코더(AE)를 개발하고 검증하기 위해.
• 네트워크 트레이스 없이 HTML 수준의 특징만을 사용하여 웹사이트가 트래픽 분석에 얼마나 취약한지 예측할 수 있는 새로운 지문 가능성 예측기 설계 및 훈련을 위해.
• 지문 가능성 예측기가 인기 있는 웹사이트와 인기 없는 웹사이트를 포함한 실제 배포 환경에서 일반화되는지 평가하기 위해.

제안 방법

• 원시 네트워크 트레이스에서 직접 웹사이트 지문 분석을 위한 엔드 투 엔드 분류기로 다층 퍼셉트론(MLP)과 컨볼루션 신경망(CNN)을 사용하였다.
• 네트워크 트래픽에서 저차원 표현(최소 20차원)을 학습하기 위해 비지도 특징 추출기로 오토인코더를 사용하였으며, 이를 기존 분류기에 입력하였다.
• 링크 수, 임bedded 콘텐츠 통계, 도메인 다양성 등의 HTML 문서 특징을 기반으로 MLP 분류기를 훈련시켜 웹사이트가 지문 분석에 취약한지(정확도 ≥90%) 예측하였다.
• Tor 트레이스에서 k-FP 분류기의 정확도를 기준으로 하여 지문 가능성 임계값(예: 10–90%)을 정의하여 웹사이트를 지문 가능(1) 또는 불가능(0)으로 레이블링하였다.
• 알렉사 순위 상위 500개 웹사이트의 4,500개 다운로드와 순위 약 100만인 인기 없는 웹사이트 5,100개의 사례를 대상으로 65개의 HTML 전용 특징을 사용하여 지문 가능성 예측기의 성능을 평가하였다.
• 인기 있는 웹사이트에서 훈련하고 인기 없는 웹사이트에서 테스트하여 지문 가능성 모델의 강건성과 일반화 능력을 평가하기 위해 전이 학습을 적용하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크(DNN)가 광범위한 수작업 특징 공학 없이도 기존 기계 학습 분류기보다 웹사이트 지문 분석에서 뛰어난 성능을 보일 수 있는가?
• RQ2 오토인코더가 효과적인 저차원 표현을 학습함으로써 기존 최고 수준의 웹사이트 지문 분석 공격 성능을 얼마나 향상시킬 수 있는가?
• RQ3 네트워크 트레이스에 접근할 수 없더라도 정적 HTML 특징만으로도 웹사이트의 지문 가능성은 정확하게 예측할 수 있는가?
• RQ4 지문 가능성 예측기는 인기와 네트워크 행동이 다른 웹사이트 간에 얼마나 일반화되는가?
• RQ5 DNN 기반 분류기는 BuFLO, WTF-PAD, Walkie-Talkie와 같은 현대적 트래픽 팯딩 방어 기법을 얼마나 효과적으로 우회할 수 있는가?

주요 결과

• CNN 기반 모델은 9,000개의 훈련 트레이스만으로 100,000개의 모니터링 대상이 아닌 웹사이트 중 100개의 웹사이트를 분류할 때 진짜 양성률 95%와 거짓 양성률 0.04%를 기록하였다.
• CNN 모델은 트래픽 패딩 방어 기법인 BuFLO(45% 정확도), WTF-PAD(58%), Walkie-Talkie(54%)를 포함한 네 가지 방어 기법 하에서도 웹사이트를 성공적으로 지문 분석했으며, 이는 오염 기법에도 효과적임을 보여주었다.
• 오토인코더로 추출한 특징(최소 20차원)은 기존 분류기의 성능을 향상시켜 이전 연구에서 사용된 수작업 특징 집합보다 더 강력한 성능을 발휘하였다.
• MLP 기반 지문 가능성 예측기는 4,500개의 웹사이트 다운로드 데이터셋에서 지문 가능성 예측 정확도가 98–99%에 달했으며, 이는 정확도 ≥90%를 충족하였다.
• 인기 없는 웹사이트(순위 약 100만)에서 테스트한 결과, 지문 가능성 예측기는 98–99%의 정확도와 2% 이하의 MSE를 유지하였으며, 특히 지문 가능성 임계값이 10–30% 또는 90%일 경우에 뛰어난 성능을 보였다.
• 특징 중요도 분석 결과, 도메인 다양성과 임베디드 콘텐츠 통계(예: iframe, 스크립트 수 등)가 지문 가능성의 핵심 지표임을 확인하였으며, 이는 인기 있는 웹사이트와 인기 없는 웹사이트 모두에서 일관되게 나타났다.