[논문 리뷰] Defense Against Advanced Persistent Threats in Dynamic Cloud Storage: A Colonel Blotto Game Approach

Minghui Min, Liang Xiao외 3명|arXiv (Cornell University)|2018. 01. 19.

Cloud Data Security Solutions참고 문헌 3인용 수 4

한 줄 요약

이 논문은 동적 클라우드 스토리지 시스템에서 고도로 발전한 지속적 위협(APTs)에 대비하기 위해 코로넬 블로토 게임 기반의 CPU 할당 프레임워크를 제안한다. 여러 스토리지 디바이스 간에 제한된 CPU를 방어자와 공격자 간의 전략적 할당으로 모델링함으로써, 학습 속도를 가속화하고 적응형 APT에 대한 강건성을 향상시키는 핫부팅 딥 Q넷(DQN)-기반 강화학습 기법을 도입하여, 동적 환경에서 Q-러닝 대비 최대 97.87% 높은 데이터 보호율과 96.97% 높은 유용성을 달성한다.

ABSTRACT

Advanced Persistent Threat (APT) attackers apply multiple sophisticated methods to continuously and stealthily steal information from the targeted cloud storage systems and can even induce the storage system to apply a specific defense strategy and attack it accordingly. In this paper, the interactions between an APT attacker and a defender allocating their Central Processing Units (CPUs) over multiple storage devices in a cloud storage system are formulated as a Colonel Blotto game. The Nash equilibria (NEs) of the CPU allocation game are derived for both symmetric and asymmetric CPUs between the APT attacker and the defender to evaluate how the limited CPU resources, the date storage size and the number of storage devices impact the expected data protection level and the utility of the cloud storage system. A CPU allocation scheme based on "hotbooting" policy hill-climbing (PHC) that exploits the experiences in similar scenarios to initialize the quality values to accelerate the learning speed is proposed for the defender to achieve the optimal APT defense performance in the dynamic game without being aware of the APT attack model and the data storage model. A hotbooting deep Q-network (DQN)-based CPU allocation scheme further improves the APT detection performance for the case with a large number of CPUs and storage devices. Simulation results show that our proposed reinforcement learning based CPU allocation can improve both the data protection level and the utility of the cloud storage system compared with the Q-learning based CPU allocation against APTs.

연구 동기 및 목표

• 제한된 CPU 자원과 변화하는 데이터 분포를 가진 동적 클라우드 스토리지 시스템을 APT로부터 방어하는 데 도전 과제를 해결한다.
• APT 공격자와 방어자 간의 전략적 상호작용을 혼합 전략을 가진 코로넬 블로토 게임으로 모델링하여 나시 균형을 도출한다.
• APT 공격 모델이나 스토리지 모델에 대한 사전 지식이 필요 없는 강화학습 기반의 CPU 할당 전략을 개발한다.
• 관찰된 방어 행동에 기반해 공격 전략을 적응적으로 변화시키는 지능적인 APT에 대비해 학습 속도와 강건성을 향상시킨다.
• 시간에 따라 변화하는 데이터 크기와 공격 정책을 가진 동적 환경에서 데이터 보호 수준과 방어자 유용성을 향상시킨다.

제안 방법

• 방어자와 APT 공격자 간의 CPU 할당 게임을 다수의 전场(스토리지 디바이스)과 제한된 총 CPU 자원을 가진 이인자 제로섬 코로넬 블로토 게임으로 수립한다.
• 대칭적 및 비대칭적 CPU 환경에서 나시 균형 존재 조건을 유도하여 시스템 파라미터가 데이터 보호율과 유용성에 미치는 영향을 분석한다.
• 유사한 상황에서의 이전 경험을 활용해 Q-값을 초기화함으로써 수렴 속도를 가속화하는 핫부팅 정책 힐클밍(PHC) CPU 할당 기법을 제안한다.
• 많은 수의 CPU와 스토리지 디바이스를 가진 대규모 시스템을 처리하기 위해 핫부팅 딥 Q넷(DQN)을 도입하여 학습 속도와 강건성을 향상시킨다.
• 시간 공유 기법을 사용해 다수의 디바이스에 걸쳐 연속적인 CPU 할당을 모델링함으로써 이산적 코로넬 블로토 게임의 현실적인 근사치를 제공한다.
• 시간이 지남에 따라 데이터 크기와 공격 정책이 변화하는 동적 게임 환경에서 강화학습을 적용하여, 공격 모델이나 데이터 모델에 대한 사전 지식 없이도 방어자가 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 스토리지 디바이스 수, 디바이스당 데이터 크기, 총 CPU 자원 수가 코로넬 블로토 기반 APT 방어 게임에서 데이터 보호율과 방어자 유용성에 어떤 영향을 미치는가?
• RQ2 공격자와 방어자 간의 비대칭적 CPU 가용성은 균형 전략과 시스템 성능에 어떤 영향을 미치는가?
• RQ3 APT 공격 모델이나 데이터 스토리지 모델에 대한 사전 지식 없이도 방어자는 동적 클라우드 스토리지 시스템에서 최적의 CPU 할당을 어떻게 달성할 수 있는가?
• RQ4 핫부팅 DQN 기반 CPU 할당 전략은 Q-러닝과 PHC에 비해 적응형 APT에 대비해 학습 속도와 강건성을 얼마나 향상시키는가?
• RQ5 시간에 따라 변화하는 데이터 및 공격 조건 하에서, 스토리지 디바이스 수와 CPU 수가 증가함에 따라 제안된 기법의 성능는 어떻게 스케일링되는가?

주요 결과

• 3개의 스토리지 디바이스와 16개의 방어 CPU를 가진 시스템에서 시간 슬롯 1000에 핫부팅 DQN 기반 CPU 할당 기법은 PHC 기반 기법 대비 30.98% 높은 데이터 보호율, Q-러닝 대비 97.87% 높은 데이터 보호율을 기록했다.
• 동일 조건 하에서 시간 슬롯 1000에 핫부팅 DQN 기법의 방어자 유용성은 PHC 대비 30.69% 높고 Q-러닝 대비 96.97% 높았다.
• 방어 CPU 수를 12개에서 16개로 증가시켰을 때 핫부팅 DQN 접근법을 사용하면 데이터 보호율이 14.20% 향상되고, 유용성은 14.03% 향상되었다.
• 4개의 스토리지 디바이스와 16개의 방어 CPU를 가진 환경에서 핫부팅 DQN 기반 기법은 Q-러닝 대비 데이터 보호율을 22.29% 향상시키고, 유용성을 22.4% 향상시켰다.
• 6개의 스토리지 디바이스에서 핫부팅 DQN 기법은 21개의 방어 CPU로 4개의 공격 CPU에 대응하여 최대 80.05%의 데이터를 보호하는 강력한 성능을 유지했다.
• 핫부팅 DQN 기법이 PHC 기법 대비 성능 향상은 스토리지 디바이스 수가 증가함에 따라 커지며, 복잡하고 동적인 환경에서의 확장성과 강건성을 시사한다.