[논문 리뷰] DCSO: Dynamic Combination of Detector Scores for Outlier Ensembles

Yue Zhao, Maciej K. Hryniewicki|arXiv (Cornell University)|2019. 11. 23.

Anomaly Detection Techniques and Applications참고 문헌 33인용 수 15

한 줄 요약

DCSO는 비지도 이상 탐지 앙상블에서 지도 없는 조건에서 이상 탐지기 점수를 동적으로, 국소성 인지 기반으로 조합하는 프레임워크를 제안한다. 각 테스트 인스턴스의 k개 이웃을 기반으로 성능이 뛰어난 기본 탐지기를 선별한다. 10개의 벤치마크 데이터셋에서 평가된 결과, DCSO는 국소 데이터 구조에 적응함으로써 정적 조합 방법보다 항상 뛰어난 성능을 보이며, 이론적 분석과 시각화를 통해 해석 가능성까지 향상시킨다.

ABSTRACT

Selecting and combining the outlier scores of different base detectors used within outlier ensembles can be quite challenging in the absence of ground truth. In this paper, an unsupervised outlier detector combination framework called DCSO is proposed, demonstrated and assessed for the dynamic selection of most competent base detectors, with an emphasis on data locality. The proposed DCSO framework first defines the local region of a test instance by its k nearest neighbors and then identifies the top-performing base detectors within the local region. Experimental results on ten benchmark datasets demonstrate that DCSO provides consistent performance improvement over existing static combination approaches in mining outlying objects. To facilitate interpretability and reliability of the proposed method, DCSO is analyzed using both theoretical frameworks and visualization techniques, and presented alongside empirical parameter setting instructions that can be used to improve the overall performance.

연구 동기 및 목표

• 지속적인 이상 탐지 앙상블에서 지도 없는 조건에서 이상 탐지기 점수를 조합하는 문제를 해결하기 위해.
• k-근접 이웃을 통한 국소 데이터 구조를 활용하여 탐지 성능을 향상시키기 위해.
• 각 테스트 인스턴스에 대해 가장 능력 있는 기본 탐지기를 동적으로 선택하기 위해.
• 앙상블 조합 과정의 해석 가능성과 신뢰성을 향상시키기 위해.
• 최적의 성능을 극대화하는 데 기여하는 매개변수 설정에 대한 경험적 지침을 제공하기 위해.

제안 방법

• 이 방법은 테스트 인스턴스의 국소 영역을 특성 공간 내에서의 k개 이웃을 사용하여 정의한다.
• 각 국소 영역 내에서 이웃 지역에서의 이전 성능 기반으로 성능이 뛰어난 기본 탐지기를 식별한다.
• 탐지기의 국소 영역 내 능력에 따라 가중치가 부여된 가중 평균을 사용하여 점수를 동적으로 조합한다.
• 이론적 분석을 통해 동적 선택 메커니즘의 타당성을 입증하고, 시각화 기법을 통해 이를 뒷받침한다.
• 다양한 데이터셋에서 성능을 최적화하기 위해 경험적 매개변수 튜닝 지침을 통합한다.
• 이 방법은 다양한 데이터 분포에 대해 강건하며, 레이블이 부여된 이상치가 필요하지 않다.

실험 결과

연구 질문

• RQ1 지속적인 이상 탐지 앙상블에서 지도 없는 조건에서 이상 탐지기 점수를 어떻게 동적으로 조합하여 앙상블 성능을 향상시킬 수 있는가?
• RQ2 국소 데이터 구조는 개별 탐지기의 능력에 얼마나 큰 영향을 미치는가?
• RQ3 국소성 인지 선택 메커니즘이 이상 탐지에서 정적 조합 전략을 능가할 수 있는가?
• RQ4 이론적 및 시각적 분석을 통해 앙상블 방법의 해석 가능성과 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ5 다양한 데이터셋에서 최적의 성능을 얻기 위한 매개변수 설정은 무엇인가?

주요 결과

• DCSO는 10개의 벤치마크 데이터셋에서 정적 조합 방법 대비 일관된 성능 향상을 달성한다.
• 국소 이웃 기반의 탐지기 동적 선택은 고정된 가중치 부여 방식보다 높은 이상 탐지 정확도를 제공한다.
• 다양한 데이터 분포와 이상 유형에 대해 강건함을 보였다.
• 이론적 분석과 시각화 결과는 동적 선택 과정의 신뢰성과 해석 가능성에 대한 확인을 제공한다.
• 경험적 매개변수 튜닝 지침이 제공되어, 최소한의 하이퍼파라미터 탐색으로 최적의 성능을 달성할 수 있다.
• 이 프레임워크는 국소 데이터 특성에 적응함으로써 지도 없는 이상 탐지 앙상블 학습의 과제를 효과적으로 해결한다.