[논문 리뷰] A First Look at Class Incremental Learning in Deep Learning Mobile Traffic Classification

Giampaolo Bovenzi, Lixuan Yang외 5명|arXiv (Cornell University)|2021. 07. 09.

Internet Traffic Analysis and Secure E-voting참고 문헌 44인용 수 13

한 줄 요약

이 논문은 iCarl 방법과 MIRAGE-2019 데이터셋을 사용하여 딥러닝 기반 모바일 트래픽 분류를 위한 클래스 증분학습(CIL)을 조사한다. iCarl+는 개선된 소프트맥스 활성화 함수와 동적 출력 레이어 확장을 포함한 개선된 버전으로, 증분학습이 학습 시간을 약 90% 감소시키며 치명적 기억상실을 완화함을 보여주지만, 소형 모델의 일반화 능력 제한으로 인해 전체 재학습 성능에 미치지 못함을 확인함.

ABSTRACT

The recent popularity growth of Deep Learning (DL) re-ignited the interest towards traffic classification, with several studies demonstrating the accuracy of DL-based classifiers to identify Internet applications' traffic. Even with the aid of hardware accelerators (GPUs, TPUs), DL model training remains expensive, and limits the ability to operate frequent model updates necessary to fit to the ever evolving nature of Internet traffic, and mobile traffic in particular. To address this pain point, in this work we explore Incremental Learning (IL) techniques to add new classes to models without a full retraining, hence speeding up model's updates cycle. We consider iCarl, a state of the art IL method, and MIRAGE-2019, a public dataset with traffic from 40 Android apps, aiming to understand "if there is a case for incremental learning in traffic classification". By dissecting iCarl internals, we discuss ways to improve its design, contributing a revised version, namely iCarl+. Despite our analysis reveals their infancy, IL techniques are a promising research area on the roadmap towards automated DL-based traffic analysis systems.

연구 동기 및 목표

• 진행 중인 모바일 트래픽 분류에 적합한 딥러닝 모델 재학습의 높은 계산 비용 문제를 해결하기 위해.
• 동적 애플리케이션 세트를 가진 실세계 모바일 트래픽 환경에서 클래스 증분학습(CIL)의 실현 가능성을 평가하기 위해.
• 네트워크 트래픽 분류에 적용했을 때 최신 CIL 방법인 iCarl의 설계적 한계를 규명하기 위해.
• 개선된 아키텍처와 메모리 활용도를 갖춘 iCarl+라는 개선된 CIL 프레임워크를 제안하고 검증하기 위해.
• 향후 연구를 가용성 있고 자동화되며 효율적인 딥러닝 기반 트래픽 분석 시스템으로 이어지도록 이끌기 위해.

제안 방법

• MIRAGE-2019 데이터셋의 프로토콜 기반 특징을 사용하여 1D CNN 기반 트래픽 분류기로 iCarl CIL 프레임워크를 적응함.
• iCarl의 원래 NMC 분류기를 소프트맥스 활성화 함수로 교체하여 결정 경계 학습을 향상시킴.
• 새로운 클래스 수에 따라 스케일링되는 동적 출력 레이어 확장을 도입하여 유닛 과잉 할당을 방지함.
• 기존 클래스의 대표 샘플을 저장하기 위해 허딩 기반의 예시 선택 기법을 사용하는 메모리 버퍼를 활용함.
• 기억상실과 새로운 클래스 학습 간 균형을 맞추기 위해 지식 정착과 분류 손실을 활용함.
• 다양한 메모리 크기(100~50,000개의 예시)와 업데이트 시나리오에서 성능을 평가함.

실험 결과

연구 질문

• RQ1 iCarl는 트래픽 분류에서 새로운 모바일 애플리케이션을 증분학습할 때 치명적 기억상실을 효과적으로 완화할 수 있는가?
• RQ2 분류기 선택(NMC 대비 소프트맥스)이 네트워크 트래픽 작업의 증분학습 성능에 어떤 영향을 미치는가?
• RQ3 iCarl+에서 메모리 크기와 성능 간의 트레이드오프, 특히 기억상실과 새로운 클래스 정확도 측면에서의 관계는 어떠한가?
• RQ4 F1 정확도와 학습 효율성 측면에서 iCarl+는 전체 재학습 및 상한 기준선과 비교해 어떻게 성능을 내는가?
• RQ5 왜 CIL 방법은 컴퓨터 비전 벤치마크에 비해 트래픽 분류에서 성능이 열등한가?

주요 결과

• iCarl+는 모델 업데이트 시간을 전체 재학습 시 23.04분에서 증분 업데이트 시 2.23분으로 줄여 학습 비용을 90% 감소시킴.
• 메모리 크기를 100개에서 50,000개로 늘일수록 치명적 기억상실이 크게 감소하지만, 더 큰 메모리 크기는 손실 함수의 트레이드오프로 인해 새로운 클래스의 F1 정확도를 떨어뜨림.
• 허딩 기반의 예시 선택은 원래 학습 세트 크기의 44%인 10,000개의 예시로 상한 기준 성능의 95%를 달성하여 효과적인 메모리 활용을 보임.
• 소프트맥스 활성화 함수와 동적 출력 레이어를 통한 개선된 iCarl+는 원래 iCarl 대비 성능을 향상시키며, 특히 초기 증분 단계에서 두드러진 성능 향상을 보였지만, 여전히 전체 재학습에 미치지 못함.
• 학습 비용은 감소했지만, 소형 모델의 일반화 능력 부족으로 인해 iCarl+의 성능는 여전히 전체 재학습에 뒤짐. 이는 현재 트래픽 데이터에 대한 CIL의 아키텍처적 제약를 시사함.
• 본 연구는 CIL가 여전히 트래픽 분류 분야에서 초기 단계에 있으며, 도메인 적응, 손실 함수 설계, 샘플링 전략 등의 핵심 과제를 드러냄.