[논문 리뷰] Near-Optimal Entrywise Anomaly Detection for Low-Rank Matrices with Sub-Exponential Noise

Vivek F. Farias, Andrew A. Li외 1명|arXiv (Cornell University)|2020. 06. 23.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 1

한 줄 요약

이 논문은 하위지수적 노이즈 하에서 낮은 질서 행렬에 대한 새로운 엔트리와이즈 이상 탐지 방법을 제안하며, 결측치와 이상치를 모두 처리할 수 있도록 최근의 엔트리와이즈 행렬 복원 보장을 확장한다. 이는 로그 요소를 제외한 최소-최대 최적 탐지 비율을 달성하며, 실제 소매 데이터에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of identifying anomalies in a low-rank matrix observed with sub-exponential noise, motivated by applications in retail and inventory management. State of the art approaches to anomaly detection in low-rank matrices apparently fall short, since they require that non-anomalous entries be observed with vanishingly small noise (which is not the case in our problem, and indeed in many applications). So motivated, we propose a conceptually simple entrywise approach to anomaly detection in low-rank matrices. Our approach accommodates a general class of probabilistic anomaly models. We extend recent work on entrywise error guarantees for matrix completion, establishing such guarantees for sub-exponential matrices, where in addition to missing entries, a fraction of entries are corrupted by (an also unknown) anomaly model. Viewing the anomaly detection as a classification task, to the best of our knowledge, we are the first to achieve the min-max optimal detection rate (up to log factors). Using data from a massive consumer goods retailer, we show that our approach provides significant improvements over incumbent approaches to anomaly detection.

연구 동기 및 목표

• 비정상적인 항목에 대해 매우 작은 노이즈가 필요로 하는 기존 낮은 질서 행렬 이상 탐지 방법의 한계를 해결하기 위해, 실제 응용에서 비현실적인 조건을 제거한다.
• 일반적인 확률적 이상 모델을 수용할 수 있는 강건한 엔트리와이즈 이상 탐지 프레임워크를 개발한다.
• 결측치와 손상된 항목을 포함한 하위지수적 노이즈 하에서 행렬 복원에 대한 엔트리와이즈 오차 보장을 수립한다.
• 로그arithmic 요소를 제외한 최소-최대 최적 탐지 비율을 달성한다.
• 대규모 소비자 제품 유통업체의 실제 데이터를 사용하여 방법의 우수성을 검증한다.

제안 방법

• 이 방법은 이상 탐지 문제를 분류 문제로 모델링하며, 각 행렬 항목을 이상 상태 후보로 간주한다.
• 최근의 하위가우시안 노이즈에서 하위지수적 노이즈 분포로의 엔트리와이즈 오차 경계를 확장하여 더 무거운 尾部 노이즈에 대한 강건성을 확보한다.
• 결측 데이터와 알려지지 않은 이상 침범을 고려한 정규화된 최적화 문제를 풀어 낮은 질서 구조와 함께 비정상 항목을 동시에 추정한다.
• 다양한 유형의 이상을 모델링할 수 있도록 일반적인 확률적 이상 모델 클래스를 통합한다.
• 하위지수적 랜덤 변수에 특화된 농도 부등식을 사용하여 이론적 보장을 도출하며, 약한 가정 하에서도 신뢰할 수 있는 오차 경계를 보장한다.
• 계산 효율성이 뛰어나 대규모 행렬에 적합하며, 실제 재고 및 소매 데이터에 적합한 계산적 효율성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 하위지수적 노이즈 하에서 낮은 질서 행렬의 엔트리와이즈 이상 탐지가 최적의 탐지 비율을 달성할 수 있는가?
• RQ2 결함이 있는 항목이 포함된 행렬 복원에서 하위가우시안에서 하위지수적 노이즈 모델로의 엔트리와이즈 오차 경계를 어떻게 확장할 수 있는가?
• RQ3 비이상적인 노이즈 조건 하에서 실제 환경에서 제안된 방법이 기존 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 하위지수적 노이즈 하에서 낮은 질서 행렬의 엔트리와이즈 이상 탐지의 이론적 성능 한계는 무엇인가?
• RQ5 비정상 항목이 결측된 상태와 알려지지 않은 이상 침범이 동시에 존재하는 상황에서 최적성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 하위지수적 노이즈 하에서 낮은 질서 행렬의 엔트리와이즈 이상 탐지에 대해 로그 요소를 제외한 최소-최대 최적 탐지 비율을 달성한다.
• 기존의 하위가우시안 노이즈에 국한된 결과를 넘어서 하위지수적 노이즈에 대한 엔트리와이즈 오차 경계를 이론적으로 확립하였다.
• 대규모 소비자 제품 유통업체의 실제 데이터에서 기존의 주요 방법들보다 뚜렷이 뛰어난 성능을 보이며 실용적 우수성을 입증하였다.
• 일반적인 확률적 이상 모델 클래스를 성공적으로 수용하여 다양한 실제 응용 시나리오에의 적용 가능성을 높였다.
• 비정상 항목이 비소멸적인 하위지수적 노이즈에 의해 손상된 경우에도 강력한 이론적 보장을 유지하며, 이는 이전 방법의 한계였다.
• 실험 결과는 노이즈가 꼬리가 두꺼운 상황에서 비정상 항목이 희박한 경우에도 방법이 강건하고 효과적임을 확인하였다.