[논문 리뷰] Incorporating Feedback into Tree-based Anomaly Detection

Shubhomoy Das, Weng‐Keen Wong외 3명|arXiv (Cornell University)|2017. 08. 30.

Anomaly Detection Techniques and Applications참고 문헌 2인용 수 43

한 줄 요약

이 논문은 이방향 분석가 피드백을 통합하여 실시간으로 이상치 순위를 개선함으로써 이sovlation Forest의 성능을 향상시키는 새로운 방법인 IF-AAD를 제안한다. 앙상블 내의 트리 노드를 가중치가 부여된 구성 요소로 간주하고 피드백에 기반해 재가중치를 적용함으로써, 분석가가 수동으로 검토해야 할 가짜 이상치의 수를 크게 감소시켜, 기준 Isolation Forest 대비 최대 두 배 이상의 진짜 이상치를 탐지할 수 있다.

ABSTRACT

Anomaly detectors are often used to produce a ranked list of statistical anomalies, which are examined by human analysts in order to extract the actual anomalies of interest. Unfortunately, in realworld applications, this process can be exceedingly difficult for the analyst since a large fraction of high-ranking anomalies are false positives and not interesting from the application perspective. In this paper, we aim to make the analyst's job easier by allowing for analyst feedback during the investigation process. Ideally, the feedback influences the ranking of the anomaly detector in a way that reduces the number of false positives that must be examined before discovering the anomalies of interest. In particular, we introduce a novel technique for incorporating simple binary feedback into tree-based anomaly detectors. We focus on the Isolation Forest algorithm as a representative tree-based anomaly detector, and show that we can significantly improve its performance by incorporating feedback, when compared with the baseline algorithm that does not incorporate feedback. Our technique is simple and scales well as the size of the data increases, which makes it suitable for interactive discovery of anomalies in large datasets.

연구 동기 및 목표

• 트리 기반 이상 탐지에서 알고리즘적 이상치와 인간이 정의한 이상치 사이의 의미적 불일치를 해결하기 위해.
• 이상 탐지 과정에서 분석가가 수동으로 검토해야 할 가짜 이상치의 수를 최소화함으로써 분석가의 부담을 줄이기 위해.
• 실시간 피드백을 사용하여 이상치 순위를 동적으로 조정할 수 있는 확장 가능한 상호작용형 방법을 개발하기 위해.
• 피드백을 앙상블 출력 수준이 아닌 노드 수준에서 효과적으로 통합할 수 있는지 평가하기 위해.
• 내부 노드와 잎 노드 모두를 가중치화하는 것이 피드백 기반 이상 탐지에서 잎 노드만 가중치화하는 것보다 성능을 향상시키는지 확인하기 위해.

제안 방법

• 이 방법은 Isolation Forest의 각 트리 노드를 앙상블 내의 가중치가 부여된 구성 요소로 모델링하며, 분석가 피드백에 기반해 가중치를 갱신한다.
• 이진 피드백(진짜 이상치 또는 정상)을 사용하여 활성 학습 프레임워크를 통해 노드를 재가중치화함으로써 각 노드가 최종 이상치 점수에 기여하는 정도를 조정한다.
• 알고리즘은 노드 가중치의 선형 조합을 사용해 이상치 점수를 계산하며, 피드백은 각 인스턴스의 경로를 따라 있는 노드의 가중치에 영향을 준다.
• 피드백은 반복적으로 통합된다: 각 레이블링 이후 시스템은 노드 가중치를 재평가하여 진짜 이상치를 포함하는 영역을 우선순위로 삼고 가짜 이상치 영역은 우선순위를 낮춘다.
• 이 방법은 활성 이상 탐지(AAD)를 트리 기반 탐지기구로 확장하며, 개별 트리 노드를 조정 가능한 구성 요소로 간주함으로써 세밀한 적응을 가능하게 한다.
• IF-AAD-Leaf는 가중치를 잎 노드에만 제한하는 변종으로, 내부 노드 가중치의 영향을 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 분석가 피드백을 트리 기반 이상 탐지에서 진짜 이상치의 순위를 향상시키는 데 효과적으로 활용할 수 있는가?
• RQ2 앙상블 수준이 아닌 노드 수준에서 피드백을 통합할 경우 이상 탐지 성능이 향상되는가?
• RQ3 내부 노드에 가중치를 부여하는 것이 잎 노드만 가중치화하는 것에 비해 피드백 기반 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ4 IF-AAD는 진짜 이상치의 상당 부분을 탐지하기 위해 검토해야 할 가짜 이상치의 수를 어느 정도 줄이는가?
• RQ5 피드백 메커니즘이 실제 데이터셋에서 기능 공간 전반에 걸쳐 알고리즘의 집중 영역에 어떤 영향을 미치는가?

주요 결과

• IF-AAD는 여덟 개의 벤치마크 데이터셋에서 기준 Isolation Forest보다 일관되게 뛰어난 성능을 보이며, 동일한 수의 쿼리로 최대 두 배 이상의 진짜 이상치를 탐지한다.
• 평균적으로 IF-AAD는 기준 대비 90%의 진짜 이상치를 탐지하기 위해 필요한 쿼리 수를 30~50% 감소시킨다.
• 피드백 메커니즘이 이전에 정상으로 레이블링된 인스턴스가 포함된 영역, 예를 들어 Abalone의 (30,-50) 영역과 ANN-Thyroid-1v3의 (60,-60) 영역에서 알고리즘의 집중을 이동시켜 이들 영역을 회피하도록 성공적으로 조정했다.
• t-SNE 시각화를 통해 알고리즘이 이전에 진짜 이상치로 레이블링된 영역, 예를 들어 Abalone의 (-20,-20)과 ANN-Thyroid-1v3의 (0,-10) 영역에 더 집중하는 것으로 확인되었다.
• 잎 노드만 가중치화하는 IF-AAD-Leaf는 IF-AAD보다 약간 성능이 열 劣하나, 내부 노드 가중치화가 성능 향상에 기여하고 있음을 시사하며, 대부분의 이점은 잎 수준의 피드백에서 유래한다.
• 피드백 통합에 소요되는 시간은 레이블링된 인스턴스 수와 선형적으로 증가하며, ANN-Thyroid-1v3 데이터셋에서 100개의 레이블을 처리하는 데 약 40초가 소요되어 확장성 잠재력을 입증했다.