[논문 리뷰] Interpretable Anomaly Detection with DIFFI: Depth-based Isolation Forest Feature Importance

Mattia Carletti, Matteo Terzi외 1명|arXiv (Cornell University)|2020. 07. 21.

Anomaly Detection Techniques and Applications참고 문헌 53인용 수 13

한 줄 요약

이 논문은 이소레이션 트리에서 전역적이고 국소적인 특성 중요도를 계산하는 데 있어 계산적으로 효율적인 방법인 DIFFI를 제안한다. 이는 비지도 이상 탐지에서 해석 가능성성을 향상시킨다. DIFFI는 최첨단 기법들인 SHAP와 유사한 성능을 보이며, 더 낮은 계산 비용으로 해석 가능한 이상 탐지와 비지도 특성 선택을 가능하게 한다.

ABSTRACT

Anomaly Detection is an unsupervised learning task aimed at detecting anomalous behaviours with respect to historical data. In particular, multivariate Anomaly Detection has an important role in many applications thanks to the capability of summarizing the status of a complex system or observed phenomenon with a single indicator (typically called `Anomaly Score') and thanks to the unsupervised nature of the task that does not require human tagging. The Isolation Forest is one of the most commonly adopted algorithms in the field of Anomaly Detection, due to its proven effectiveness and low computational complexity. A major problem affecting Isolation Forest is represented by the lack of interpretability, an effect of the inherent randomness governing the splits performed by the Isolation Trees, the building blocks of the Isolation Forest. In this paper we propose effective, yet computationally inexpensive, methods to define feature importance scores at both global and local level for the Isolation Forest. Moreover, we define a procedure to perform unsupervised feature selection for Anomaly Detection problems based on our interpretability method; such procedure also serves the purpose of tackling the challenging task of feature importance evaluation in unsupervised anomaly detection. We assess the performance on several synthetic and real-world datasets, including comparisons against state-of-the-art interpretability techniques, and make the code publicly available to enhance reproducibility and foster research in the field.

연구 동기 및 목표

• 이소레이션 트리, 즉 널리 사용되지만 본질적으로 투명하지 않은 이상 탐지 알고리즘에서의 해석 가능성 부족 문제를 해결하기 위해.
• 이상 탐지 결정에 가장 기여하는 특성들을 설명할 수 있는 전역적 및 국소적 특성 중요도 점수를 제공하기 위해.
• 해석 가능성 기반 기준을 활용하여 이상 탐지에 대한 비지도 특성 선택을 가능하게 하여 모델 복잡성을 줄이고 성능을 향상시키기 위해.
• 실시간 또는 자원 제약이 있는 응용 분야에 적합한 계산적으로 효율적인 방법을 개발하기 위해.
• 산업적 및 실세계 이상 탐지 구현에서 사용자 신뢰를 높이고 루트 케이스 분석을 촉진하기 위해.

제안 방법

• DIFFI는 이소레이션 트리에서의 분할 평균 깊이를 기반으로 특성 중요도를 계산하며, 이는 이른 시점에 분할을 일으키는 특성이 이상 탐지에 더 관련성이 높다는 사실을 활용한다.
• 전역적 특성 중요도는 모든 트리에서의 평균 깊이 감소를 특성 사용 빈도로 가중 평균하여 유도한다.
• 국소적 특성 중요도는 이상 점수에 도달하는 경로 동안 특성의 깊이 기여도를 집계하여 각 샘플별로 계산한다.
• 추가 학습이나 재학습이 필요 없이 기존 이소레이션 포레스트 모델의 구조와 하이퍼파라미터를 그대로 활용한다.
• 비지도 특성 선택은 전역적 DIFFI 점수를 기반으로 특성을 순위 매기고 상위-k개 특성을 선택하여 이소레이션 포레스트 모델을 재학습함으로써 수행된다.
• 이 방법은 경량 설계되어 최소한의 하이퍼파라미터 튜닝을 필요로 하며, 강건성을 확보하기 위해 기본 이소레이션 포레스트 하이퍼파라미터를 그대로 이식한다.

실험 결과

연구 질문

• RQ1 이소레이션 트리의 깊이 기반 통계치를 활용해 이상 탐지에서 의미 있는 전역적 및 국소적 특성 중요도 점수를 유도할 수 있는가?
• RQ2 기존의 해석 가능성 기법들인 SHAP와 비교했을 때, 제안된 DIFFI 방법은 비지도 이상 탐지에서 성능과 효율성 측면에서 어떻게 비교되는가?
• RQ3 DIFFI 기반 특성 선택은 실세계 이상 탐지 작업에서 이소레이션 포레스트의 정확도와 효율성을 향상시킬 수 있는가?
• RQ4 기타 비지도 특성 선택 방법에 비해 DIFFI는 얼마나 적은 하이퍼파라미터 튜닝이 필요한가?
• RQ5 낮은 계산 비용 덕분에 DIFFI는 실시간 또는 스트리밍 이상 탐지 시나리오에 효과적으로 적용될 수 있는가?

주요 결과

• DIFFI는 SHAP와 같은 최첨단 해석 가능성 기법과 유사한 성능을 보이며, 특히 전역적 특성 중요도 추정에서 유사한 성능을 달성하지만, 훨씬 낮은 계산 오버헤드를 보인다.
• 카디오, 이온오스포어, 머스크 등의 다수의 실세계 데이터셋에서, DIFFI는 라플라시안 스코어와 SPEC보다 일관되게 뛰어난 비지도 특성 선택 성능을 보이며, 선택된 특성 수 k의 다양한 범위에서 특히 두드러진다.
• 대부분의 평가된 데이터셋에서 DIFFI는 최적의 특성 조합(즉, 중앙값 F1 점수를 가장 높게 도출하는 조합)을 성공적으로 식별하여 탐지 성능와의 강한 일치를 보였다.
• 최소한의 또는 하이퍼파라미터 튜닝이 필요 없으며, 기본 이소레이션 포레스트 설정을 그대로 이식함으로써 실세계 응용에서의 사용성과 재현 가능성을 향상시켰다.
• DIFFI는 해석 가능한 이상 탐지와 실행 가능한 통찰을 가능하게 하여, 루트 케이스 분석을 지원하고 모델 출력에 대한 사용자 신뢰를 높였다.
• DIFFI의 낮은 계산 비용 덕분에 효율성이 핵심적인 실시간 또는 스트리밍 이상 탐지 시스템에의 구현이 가능하다.