[논문 리뷰] Deep Learning and Traffic Classification: Lessons learned from a commercial-grade dataset with hundreds of encrypted and zero-day applications

Lixuan Yang, Alessandro Finamore외 2명|arXiv (Cornell University)|2021. 04. 07.

Internet Traffic Analysis and Secure E-voting참고 문헌 63인용 수 5

한 줄 요약

이 논문은 기존의 학습되지 않은 애플리케이션을 높은 정확도와 낮은 계산 비용으로 식별하기 위해 기울기 역전파를 활용하는 새로운 딥러닝 기반 기법 GradBP를 제안한다. 수천 개의 애플리케이션 레이블을 포함한 상용 수준의 데이터셋에서 평가된 결과, GradBP는 거의 80%의 제로데이 트래픽을 탐지하면서도 기존 최고 수준의 기법보다 10배 이상 빠르며 재학습이나 아키텍처 변경이 필요로 하지 않는다.

ABSTRACT

The increasing success of Machine Learning (ML) and Deep Learning (DL) has recently re-sparked interest towards traffic classification. While classification of known traffic is a well investigated subject with supervised classification tools (such as ML and DL models) are known to provide satisfactory performance, detection of unknown (or zero-day) traffic is more challenging and typically handled by unsupervised techniques (such as clustering algorithms). In this paper, we share our experience on a commercial-grade DL traffic classification engine that is able to (i) identify known applications from encrypted traffic, as well as (ii) handle unknown zero-day applications. In particular, our contribution for (i) is to perform a thorough assessment of state of the art traffic classifiers in commercial-grade settings comprising few thousands of very fine grained application labels, as opposite to the few tens of classes generally targeted in academic evaluations. Additionally, we contribute to the problem of (ii) detection of zero-day applications by proposing a novel technique, tailored for DL models, that is significantly more accurate and light-weight than the state of the art. Summarizing our main findings, we gather that (i) while ML and DL models are both equally able to provide satisfactory solution for classification of known traffic, however (ii) the non-linear feature extraction process of the DL backbone provides sizeable advantages for the detection of unknown classes.

연구 동기 및 목표

• 학술적 트래픽 분류 연구와 실제 상용 환경의 요구 사항 사이의 격차를 해소하기 위해, 특히 대규모, 암호화된, 제로데이 애플리케이션을 다루는 데에 초점한다.
• 일반적으로 학술 기준을 훨씬 초월하는 수천 개의 애플리케이션 레이블을 포함한 상용 수준의 데이터셋에서 감독형 기계학습 및 딥러닝 모델의 성능을 평가한다.
• 딥러닝 모델에 특화된 정확하고 효율적인 신규 제로데이 탐지 기법 GradBP를 설계하고 검증한다.
• 딥러닝 모델에 GradBP를 통합함으로써 기존의 전통적 기계학습 모델보다 알려지지 않은(제로데이) 트래픽 탐지에서 뛰어난 성능을 발휘함을 보여준다.
• 실제 운영 환경에서의 구현 도전 과제, 예를 들어 점진적 학습, 모델 해석 가능성, 실시간 추론 등을 탐색한다.

제안 방법

• GradBP는 훈련된 딥러닝 모델의 최종 레이어에서 기울기 역전파를 이용해 입력의 낯설음(unknowness)을 평가한다: 더 큰 기울기는 제로데이 트래픽일 가능성이 높음을 나타낸다.
• 추가 학습이나 모델 수정 없이 추론 도중 손실 함수에 대한 입력에 대한 기울기를 계산한다.
• 마지막 레이어에서의 첫 번째 역전파 단계에 집중함으로써 탐지 정확도와 계산 효율성의 균형을 이룬다.
• 수천 개의 암호화된 및 제로데이 애플리케이션을 포함한 대규모 실세계 데이터셋을 사용해, 네 가지 최고 수준의 제로데이 탐지 기법과 비교 평가한다.
• 트래픽 분류의 백본 모델로 1D 컨volutional 네ural 네트워크(1D-CNN)를 사용하며, 시간 시리즈 패킷 크기 특징에 기반해 훈련한다.
• GradBP는 점진적이고 경량화되어 있어, 라인 레이트 실시간 네트워크 모니터링 시스템에 배치하기에 적합하다.

실험 결과

연구 질문

• RQ1 수천 개의 애플리케이션 레이블을 포함한 대규모 상용 수준의 데이터셋에서 훈련된 감독형 기계학습 및 딥러닝 모델은 알려진 트래픽을 분류할 때 어떻게 비교되는가?
• RQ2 GradBP와 같은 기울기 기반 방법은 정확도와 효율성 측면에서 기존의 비감독형 또는 히وري스틱 기반 제로데이 탐지 기법보다 뛰어나다고 할 수 있는가?
• RQ3 여러 레이어를 거쳐 기울기 역전파를 수행할 경우 제로데이 탐지 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ4 GradBP는 왜 다른 방법보다 훨씬 빠르면서도 높은 탐지 정확도를 유지할 수 있는가?
• RQ5 GradBP는 재학습이나 아키텍처 변경 없이 실제 운영 파이프라인에 얼마나 잘 통합될 수 있는가?

주요 결과

• GradBP는 거의 80%의 제로데이 트래픽을 탐지하는 데 성공했으며, 다음으로 우수한 대안 방법은 11% 미만을 탐지했다.
• GradBP는 경쟁 기반 최고 수준의 제로데이 탐지 기법보다 10배 이상 빠르며, 실시간 배포에 적합하다.
• 이 방법은 최소한의 계산 오버헤드로 뛰어난 정확도를 달성했으며, SoftMax 레이어만큼 경량화되어 있다.
• 두 번 이상의 레이어를 거쳐 기울기 역전파를 수행할 경우 탐지 정확도는 약 10% 감소하고 지연 시간은 약 4배 증가하여, 마지막 레이어에 집중하는 것이 최적임을 시사한다.
• GradBP를 장착한 딥러닝 모델은 알려진 트래픽 분류 성능는 유사하나, 알려지지 않은 애플리케이션 탐지에서는 기존의 전통적 기계학습 모델보다 뚜렷이 뛰어나다.
• 이 연구는 딥러닝 모델의 비선형 특징 추출 능력이 기존 기계학습 모델에 비해 제로데이 탐지에 상당한 이점을 제공한다는 점을 확인한다.