[논문 리뷰] Deep Actor-Critic Reinforcement Learning for Anomaly Detection

Chen Zhong, Mustafa Gürsoy외 1명|arXiv (Cornell University)|2019. 08. 28.

Smart Grid Security and Resilience참고 문헌 13인용 수 5

한 줄 요약

이 논문은 이상 상태의 수가 알려지지 않은 시스템에서 활성 순차 이상 탐지에 대해 딥 액터-크리틱 강화학습 프레임워크를 제안한다. 사후 확률에 기반해 센서를 동적으로 선택함으로써, 주장 지연을 최소화하면서도 신뢰도를 극대화하며, 고신뢰도 임계값 조건 하에서 찰스프 테스트보다 지연과 확장성 측면에서 뛰어나다.

ABSTRACT

Anomaly detection is widely applied in a variety of domains, involving for instance, smart home systems, network traffic monitoring, IoT applications and sensor networks. In this paper, we study deep reinforcement learning based active sequential testing for anomaly detection. We assume that there is an unknown number of abnormal processes at a time and the agent can only check with one sensor in each sampling step. To maximize the confidence level of the decision and minimize the stopping time concurrently, we propose a deep actor-critic reinforcement learning framework that can dynamically select the sensor based on the posterior probabilities. We provide simulation results for both the training phase and testing phase, and compare the proposed framework with the Chernoff test in terms of claim delay and loss.

연구 동기 및 목표

• 동시에 이상 상태일 수 있는 프로세스 수가 알려지지 않은 상황에서 활성 순차 이상 탐지의 과제를 해결한다.
• 관측 지연을 최소화하고 의사결정의 신뢰도를 극대화하기 위해 센서를 동적으로 선택하는 강화학습 에이전트를 설계한다.
• 서로 다른 가설을 가정하고, 관측 분포가 겹치는 경우 높은 지연을 겪는 전통적 방법(예: 찰스프 테스트)의 한계를 극복한다.
• 시작 상태가 정상 상태(H₀)일 경우를 포함해 다양한 초기 사후 확률을 처리할 수 있도록 테스트 단계에서 적응형 임계값 설정을 가능하게 한다.

제안 방법

• 이상 탐지 문제를 M = 1 + Σₖ₌₁ᴺ (N choose k)개의 가설을 가진 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)으로 수식화한다.
• 정상 상태(f)와 이상 상태(g)의 관측 분포를 모르는 상황에서 최대우도추정법을 사용해 이항분포(오차 확률 ρ)로 근사한다.
• 액터는 사후 확률에 기반해 다음 센서를 선택하고, 크리틱은 행동가치 함수를 평가하는 딥 액터-크리틱 네트워크를 구현한다.
• 정지 조건을 유도하기 위한 상한 신뢰도 임계값(π_up)과 가설 기각 조건을 위한 하한 신뢰도 임계값(π_low)을 정의하며, π_up > π_low 이다.
• 지연과 잘못된 결정에 대한 보상 패널티를 포함한 보상 함수를 사용해 에이전트를 훈련시키며, 높은 신뢰도에서 이른바 정지하도록 유도한다.
• 사후 확률이 올바른 가설로 수렴함을 보장하기 위해 검증 테스트를 통한 훈련을 보완한다.

실험 결과

연구 질문

• RQ1 알 수 없는 수의 이상 프로세스가 동시에 존재하는 이상 탐지 상황에서, 강화학습 에이전트는 어떻게 센서를 동적으로 선택하여 주장 지연을 최소화할 수 있는가?
• RQ2 상한 및 하한 신뢰도 임계값(π_up, π_low)의 변화가 테스트 단계에서의 주장 지연과 의사결정 손실에 미치는 영향는 어떠한가?
• RQ3 관측 분포가 완전히 구분되지 않는 조건에서, 제안된 액터-크리틱 프레임워크는 찰스프 테스트에 비해 지연과 손실 측면에서 어떻게 비교되는가?
• RQ4 모든 프로세스가 정상 상태(H₀)에서 시작되는 초기 조건에 에이전트는 어떻게 적응하는가? 이는 수렴성과 샘플링 시간에 어떤 영향을 미치는가?
• RQ5 지연과 손실 측면에서 딥 RL 에이전트가 찰스프 테스트를 초월하는 조건은 무엇인가?

주요 결과

• 제안된 액터-크리틱 프레임워크는 찰스프 테스트보다 상당히 낮은 주장 지연을 달성하며, 특히 상한 신뢰도 임계값 π_up ≥ 0.75일 경우 두드러진다.
• π_up가 증가할수록 에이전트의 의사결정 손실이 감소함을 확인하여, 고임계값 조건에서 신뢰도가 향상되고 임의의 양성 반응이 줄어든다.
• 찰스프 테스트는 가설이 완전히 구분 가능하다는 가정을 하고 있으나, 다수의 가설이 동일한 관측 분포를 공유할 경우(예: H₁, H₄, H₅, H₇ 모두 센서 1에서 이상 행동을 보임) 높은 지연을 겪는다.
• π_low를 낮추면 더 엄격한 기각 기준으로 인해 손실이 약간 감소하지만, 이는 샘플링 시간 증가라는 대가를 치르는 셈이다.
• 에이전트는 테스트 단계에서 뛰어난 강건성을 보이며, H₀(정상 상태에 대한 높은 사후 확률)에서 시작할 경우 더 많은 샘플이 필요로 하지만, 다양한 초기 조건에서도 안정적으로 수렴한다.
• 고신뢰도 시나리오(π_up ≥ 0.75)에서 이 프레임워크는 찰스프 테스트보다 지연과 손실 측면에서 모두 뛰어나며, 샘플링 비용이 높은 시스템에 더 적합하다.