[논문 리뷰] Focusing on a Probability Element: Parameter Selection of Message Importance Measure in Big Data

Rui She, Shanyun Liu외 2명|arXiv (Cornell University)|2017. 01. 12.

Anomaly Detection Techniques and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 대규모 데이터 분포에서 특정 확률 요소에 초점을 맞추기 위해 중요도 계수 𝜔_j = 1/p_j로 설정함으로써 메시지 중요도 측정(MIM)에 대한 매개수 선택 방법을 제안한다. 이는 희귀하거나 이질적인 사건의 검출을 향상시키며, 이론적 분석과 시뮬레이션을 통해 통계 모델 하에서 소수의 부분집합 탐지에 효과적임을 확인한다.

ABSTRACT

Message importance measure (MIM) is applicable to characterize the importance of information in the scenario of big data, similar to entropy in information theory. In fact, MIM with a variable parameter can make an effect on the characterization of distribution. Furthermore, by choosing an appropriate parameter of MIM, it is possible to emphasize the message importance of a certain probability element in a distribution. Therefore, parametric MIM can play a vital role in anomaly detection of big data by focusing on probability of an anomalous event. In this paper, we propose a parameter selection method of MIM focusing on a probability element and then present its major properties. In addition, we discuss the parameter selection with prior probability, and investigate the availability in a statistical processing model of big data for anomaly detection problem.

연구 동기 및 목표

• 기존의 MIM 매개수 선택 방법이 최소 확률 사건에만 집중하여 나머지 희귀 사건을 간과하는 한계를 해결하기 위해.
• 분포 내 특정 확률 요소에 초점을 맞춘 실용적이고 적응 가능한 MIM 매개수 선택 전략을 개발하기 위해.
• 희귀 사건 중 최소 확률이 아닌 작은 비율을 가지는 이질적 사건에 초점을 맞춤으로써 대규모 데이터에서의 소수의 부분집합 탐지 능력을 향상시키기 위해.
• 실제 대규모 데이터 이상 탐지 응용 분야에 관련된 통계 모델에서 제안된 방법을 검증하기 위해.

제안 방법

• 목표로 하는 확률 요소 p_j를 강조하기 위해 중요도 계수 𝜔_j = 1/p_j를 갖는 매개수 MIM을 정의한다.
• 감도를 p_j에 맞추기 위해 MIM 표현식을 L_j(p, 𝜔_j) = log(∑ p_i * exp( (1/p_j)(1 - p_i) ))로 유도한다.
• 이 매개수 설정 하에서 MIM의 주요 성질을 분석하며, 단조성 및 균일 분포 대비 비균일 분포에서의 행동을 포함한다.
• 표본 추출 하에서 경험적 MIM의 기대값과 분산을 추정하기 위해 일차 및 이차 테일러 근사법을 적용한다.
• 표본 크기가 증가함에 따라 경험적 MIM 추정기의 수렴 성질을 분석하기 위해 체비셰프 부등식을 사용한다.
• 이항분포, 포아송분포 및 기하분포에 대한 수치 시뮬레이션을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 기존 방법이 최소 확률 사건에만 집중하는 데 반해, 특정 희귀 사건에 초점을 맞추기 위해 MIM 매개수를 어떻게 선택할 수 있는가?
• RQ2 중요도 계수 𝜔_j = 1/p_j로 설정했을 때 MIM의 기본 성질은 무엇인가?
• RQ3 다양한 확률 분포에 적용했을 때 MIM은 소수의 부분집합 탐지에 어떻게 성능을 발휘하는가?
• RQ4 경험적 MIM 추정기의 수렴은 표본 추출 하에서 신뢰성 있게 이루어지며, 표본 크기는 정확도와 분산에 어떤 영향을 미치는가?
• RQ5 제안된 MIM 매개수 설정은 균일 분포 또는 다수의 분포와 비교해 희귀 사건을 효과적으로 구분할 수 있는가?

주요 결과

• 모든 테스트된 분포에서 𝜔_j = 1/p_j를 갖는 MIM은 p_j에 대해 엄격히 감소함을 확인하여, 희귀 사건에 대한 민감도를 입증한다.
• 비균일 분포의 경우, 특정 p_j에 초점을 맞춘 MIM 값은 균일 분포의 값보다 높으며, 이는 균일성에서의 이탈을 탐지할 수 있음을 검증한다.
• 표본 크기 N_i가 증가함에 따라 경험적 MIM 추정기의 기대값 E(𝐿̂_i)가 진짜 MIM 값으로 수렴하며, 특히 p가 작을 때 두드러진다.
• 경험적 MIM 추정기의 분산 D(𝐿̂_i)는 N_i가 증가함에 따라 감소하며, 0 < p < 1/2일 때 μ = p에 대해 단조 감소한다.
• 특정 확률 요소에 초점을 맞춘 MIM은 경험적 환경에서 강력한 수렴성을 보이며, 대규모 데이터의 통계적 이상 탐지에 적합하다.
• 수치 결과는 𝜔_j = 1/p_j를 갖는 MIM이 희귀 사건을 효과적으로 부각시키며, 균일 분포 기반 모델 대비 탐지 능력에서 뛰어남을 확인한다.