[논문 리뷰] Beauty and Brains: Detecting Anomalous Pattern Co-Occurrences

Roel Bertens, Jilles Vreeken외 1명|arXiv (Cornell University)|2015. 12. 22.

Data Visualization and Analytics참고 문헌 21인용 수 3

한 줄 요약

이 논문은 거래 데이터에서 개별적으로 흔한 패턴들이 함께 나타나지 않는 경우가 드물지만, 동시에 나타나는 경우가 발생하는 새로운 유형의 이상현상(이상 공존)을 도입한다. 저자들은 BnB 스코어를 제안하며, 이는 거래 내에 존재하는 패턴 공존의 최대 신선도(역로그 리프트)를 측정하여 빠른 탐지와 해석 가능한 설명을 가능하게 한다. 이는 모든 연관 규칙를 탐색하지 않아도 된다는 점에서 특징이다.

ABSTRACT

Our world is filled with both beautiful and brainy people, but how often does a Nobel Prize winner also wins a beauty pageant? Let us assume that someone who is both very beautiful and very smart is more rare than what we would expect from the combination of the number of beautiful and brainy people. Of course there will still always be some individuals that defy this stereotype; these beautiful brainy people are exactly the class of anomaly we focus on in this paper. They do not posses intrinsically rare qualities, it is the unexpected combination of factors that makes them stand out. In this paper we define the above described class of anomaly and propose a method to quickly identify them in transaction data. Further, as we take a pattern set based approach, our method readily explains why a transaction is anomalous. The effectiveness of our method is thoroughly verified with a wide range of experiments on both real world and synthetic data.

연구 동기 및 목표

• 거래 데이터에서 개별적으로 빈번하지만 드물게 함께 나타나는 패턴의 공존을 이상현상의 새로운 클래스로 정의하고 형식화하는 것.
• 기존 이상 탐지 방법이 일반적인 패턴의 드문 공존으로 인한 이상현상을 탐지하지 못하는 격차를 메우는 것.
• 모든 연관 규칙를 포괄적으로 탐색하지 않고도 이상 스코어를 효율적으로 계산하는 알고리즘을 개발하는 것.
• 특정 패턴 공존이 거래의 이상 스코어를 유발하는 원인임을 특정하여, 설명 가능한 해석을 제공하는 것.
• 합성 및 실세계 데이터셋을 대상으로 본 방법의 효과성을 입증하여, 최신 기술로는 놓친 이상현상을 탐지할 수 있음을 보여주는 것.

제안 방법

• 거래 내에 존재하는 모든 패턴 공존에 대해 최대 리프트의 음의 로그인 BnB 스코어를 제안한다.
• 모든 닫힘 빈번 항목집합을 탐색할 필요 없이 계산 비용을 줄이기 위해 슬림 패턴 세트를 사용한다.
• 패턴 공존의 최대 놀라움(가장 낮은 기대도)을 기반으로 거래를 이상도 순으로 순위 매긴다.
• 유의미한 통계적 이상인지 평가하기 위해 부트스트랩 기반 유의성 검정을 적용한다.
• 이미 존재하는 이상 탐지 프레임워크에 BnB 스코어를 통합하여, 다른 이상 유형을 대체하는 것이 아니라 보완하는 방식으로 활용한다.
• 특정 패턴 쌍 중에서 가장 높은 놀라움(낮은 리프트)을 보이는 것을 특정하여 이상현상을 설명한다.

실험 결과

연구 질문

• RQ1 거래 데이터에서 개별적으로 흔한 패턴들이 함께 나타나지 않는 경우가 드물지만 동시에 나타나는 것처럼, 이상 공존의 새로운 클래스를 형식적으로 정의할 수 있는가?
• RQ2 모든 연관 규칙를 포괄적으로 탐색하지 않고도 효율적이고 확장 가능한 방법으로 이러한 이상현상을 탐지할 수 있는가?
• RQ3 BnB 스코어는 합성 데이터에 심어진 이상(클래스 2)을 정상 거래보다 상위 순위로 효과적으로 랭킹할 수 있는가?
• RQ4 BnB 방법은 OC3나 CompreX와 같은 기존 방법이 놓친 실세계 이상현상을 탐지할 수 있는가?
• RQ5 BnB 스코어는 특정 패턴 공존이 거래의 이상성에 기여하는 원인임을 특정함으로써 설명 가능한 해석을 제공할 수 있는가?

주요 결과

• 합성 데이터셋에서 BnB 스코어는 모두 심어진 클래스 2 이상현상(예상치 못한 패턴 공존)을 랭킹 상단에 성공적으로 식별했다.
• Adult 데이터셋에서 BnB 방법은 '여자 남편'으로 묘사된 매우 이상한 개인을 탐지했으며, 이는 OC3나 CompreX에 의해는 탐지되지 않았다.
• Zoo 데이터셋에서 박쥐는 고유한 난세우는 mamal로서, 데이터 분포 하에서 '정상'으로 간주될 확률이 8% 미만이었으며, 이는 심각한 이상임을 시사한다.
• Bike Sharing 데이터셋에서 BnB 방법은 낮은 실온과 높은 체감 온도가 동시에 나타나는 드문 공존 패턴을 탐지했으며, 이는 이전 방법으로는 놓친 클래스 2 이상현상이었다.
• Mammals 데이터셋에서 BnB는 두 동물군의 서식지가 유일하게 겹치는 작은 지역에서만 겹치는 두 개의 상위 랭king 영역을 정확히 식별했으며, 이는 패턴 공존을 통해 이상현상을 설명할 수 있었다.
• 슬림 패턴 세트를 사용함으로써 BnB 방법은 전체 닫힘 빈번 항목집합 접근법과 유사한 결과를 얻었지만, 시간은 훨씬 단축시켜 확장성의 우수성을 입증했다.