[논문 리뷰] Scalable Anomaly Detection in Large Homogenous Populations

Henrik Ohlsson, Tianshi Chen외 3명|arXiv (Cornell University)|2013. 09. 20.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 다수의 동일한 집단에서 이상 탐지 문제를 다각도로 재구성하여 희박 최적화 작업으로 전환함으로써 분산형이고 확장 가능한 최적화 방법을 제안한다. 그룹 Lasso 정규화에 기반한 볼록 relaxation을 통해 시스템 간 분산 계산이 가능해지고, 특정 조건 하에서 정확한 복원이 가능하며, 훈련 데이터셋이나 정상 행동의 사전 모델이 필요 없어진다.

ABSTRACT

Anomaly detection in large populations is a challenging but highly relevant problem. The problem is essentially a multi-hypothesis problem, with a hypothesis for every division of the systems into normal and anomal systems. The number of hypothesis grows rapidly with the number of systems and approximate solutions become a necessity for any problems of practical interests. In the current paper we take an optimization approach to this multi-hypothesis problem. We first observe that the problem is equivalent to a non-convex combinatorial optimization problem. We then relax the problem to a convex problem that can be solved distributively on the systems and that stays computationally tractable as the number of systems increase. An interesting property of the proposed method is that it can under certain conditions be shown to give exactly the same result as the combinatorial multi-hypothesis problem and the relaxation is hence tight.

연구 동기 및 목표

• 시스템 조합의 수가 조합적으로 증가하는 대규모 집단에서 다중 가설 이상 탐지 문제의 계산 비가역성 문제를 해결한다.
• 계산을 시스템 간에 분산시켜 집단 크기에 따라 효율적으로 확장되는 분산 알고리즘을 개발한다.
• 정상 동역학의 사전 훈련 데이터셋이나 알려진 정상 모델이 필요 없도록, 정상 동역학과 이상 탐지를 동시에 추정함으로써 이를 제거한다.
• 압축 감지 이론을 활용하여 볼록 relaxation의 엄밀함을 증명함으로써 해의 품질에 대한 이론적 보장을 확보한다.

제안 방법

• 각 가설이 일부 시스템이 이상임을 나타내는 조합 최적화 문제로 이상 탐지 문제를 비볼록 조합 최적화 문제로 재구성한다.
• 모든 시스템의 파라미터가 전역 정상 모델에서 벗어나는 정도의 희박성을 유도하기 위해, 노름의 합 정규화(그룹 Lasso에 등가)를 사용하여 조합 문제를 볼록 최적화 문제로 완화한다.
• 각 시스템이 인구 규모에 영향을 받지 않는 국지 최적화 하위 문제를 독립적으로 해결함으로써 분산 알고리즘(알고리즘 1)을 구현한다.
• 스parseness를 제어하기 위해 정규화 파rameter λ를 사용하며, 노멀 모델에서 비정상적인 파라미터 편차를 보이는 시스템을 선택함으로써 가장 가능성이 높은 이상 시스템을 식별할 수 있다.
• 압축 감지 이론의 이론적 결과를 활용하여, 특정 조건 하에서 볼록 relaxation이 엄밀함을 보여주며, 원래의 조합 문제의 정확한 해를 근사 오차 없이 복원할 수 있음을 증명한다.
• 실제 항공기 펌웨어 데이터에 적용하여, 항공기 200架, 항공기당 500회의 비행 데이터에서 확장성과 정확성을 입증한다.

실험 결과

연구 질문

• RQ1 대규모 동일 집단에서 다중 가설 이상 탐지 문제를 해결하기 위한 확장 가능하고 분산된 최적화 프레임워크를 설계할 수 있는가?
• RQ2 조합 이상 탐지 문제의 볼록 relaxation이 원래의 비볼록 문제와 동일한 해를 도출하는 조건은 무엇인가?
• RQ3 훈련 데이터셋이나 정상 시스템 동역학의 사전 지식 없이 이상 탐지를 수행할 수 있는가?
• RQ4 기존의 모델 기반 접근법에 비해 제안된 방법이 계산 효율성과 결과의 해석 가능성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 항공기 200架, 항공기당 500회의 비행 데이터만으로도 실제 이상 항공기 3대를 정확히 식별하여 기준값과 완전히 일치시켰다.
• 정규화 파rameter λ = 150일 때 분산 알고리즘이 15회 반복 내에 수렴하였으며, 27번째, 161번째, 183번째 항공기를 정확히 이상으로 경고하였다.
• 특정 조건 하에서 볼록 relaxation은 이론적으로 엄밀하므로, 원래의 조합 문제의 정확한 해를 근사 오차 없이 복원할 수 있다.
• [11]에서 사용한 티콘وف 정규화와 달리, 제안된 그룹 Lasso 방법은 λ가 충분히 클 경우 정상 시스템에 대해 편차가 0이 되는 결과를 낼 수 있다.
• 임계값 설정이나 추가 조정 파rameter가 필요 없으며, 스파arsity를 유도하는 정규화가 자연스럽게 이상 시스템을 선택한다.
• 계산 비용은 집단 크기와 관계없이 각 시스템당 일정하게 유지되므로, 이는 매우 확장 가능하며 대규모 구현에 적합하다.