[논문 리뷰] Sorting out typicality with the inverse moment matrix SOS polynomial

Jean B. Lasserre, Edouard Pauwels|arXiv (Cornell University)|2016. 06. 13.

Optical Network Technologies참고 문헌 12인용 수 31

한 줄 요약

이 논문은 데이터 클라우드의 전반적인 형태를 포착하기 위해 경험적 모멘트 행렬의 역행렬에서 유도된 제곱합(SOS) 다항식을 제안한다. 이 방법은 계산적으로 효율적이고 온라인 처리에 적합한 접근법을 사용하여 KDD Cup 99 네트워크 침입 검출 데이터셋에서 최신 기술 수준의 방법들과 비교해 유사한 이상치 탐지 성능을 달성한다. 다항식의 차수는 조정 가능한 복잡도 파ameter로 기능한다.

ABSTRACT

We study a surprising phenomenon related to the representation of a cloud of data points using polynomials. We start with the previously unnoticed empirical observation that, given a collection (a cloud) of data points, the sublevel sets of a certain distinguished polynomial capture the shape of the cloud very accurately. This distinguished polynomial is a sum-of-squares (SOS) derived in a simple manner from the inverse of the empirical moment matrix. In fact, this SOS polynomial is directly related to orthogonal polynomials and the Christoffel function. This allows to generalize and interpret extremality properties of orthogonal polynomials and to provide a mathematical rationale for the observed phenomenon. Among diverse potential applications, we illustrate the relevance of our results on a network intrusion detection task for which we obtain performances similar to existing dedicated methods reported in the literature.

연구 동기 및 목표

• 특정 SOS 다항식의 하위레벨 집합이 데이터 클라우드의 형태를 정확히 포착하는 데 이른 전에 주목하지 못했던 경험적 현상에 대해 설명하기 위해.
• 직교다항식과 크리스토펠 함수와의 연결을 통해 이 현상에 수학적 기반을 제공하기 위해.
• 고차원 데이터에서 형태 표현과 이상치 탐지에 대해 계산적으로 효율적인 방법을 개발하기 위해.
• 실제 데이터, 특히 네트워크 침입 탐지에서 이 방법의 효과성을 입증하기 위해.
• 역모멘트 행렬의 SOS 다항식을 데이터 기하학의 새로운, 내재적이고 애핀 불변의 표현으로 설정하기 위해.

제안 방법

• 이 방법은 데이터로부터 계산된 경험적 모멘트 행렬의 역행렬을 그램 행렬로 사용하는 제곱합(SOS) 다항식을 구성한다.
• 다항식의 차수는 사용자가 결정하며, 고려된 모멘트의 수에 해당하며, 높은 차수일수록 더 복잡한 형태를 포착한다.
• 각 데이터 포인트에서 다항식을 평가하여 이질성 점수를 산출하며, 높은 값일수록 데이터 클라우드의 일반 영역에서 벗어난 정도가 크다는 것을 의미한다.
• 워드버리 갱신을 통해 온라인 계산이 가능하며, 평가 비용이 데이터 크기에 의존하지 않아, 커널 또는 최근접이웃 방법과는 달리 효율적이다.
• 이론적 연결을 통해 직교다항식과 크리스토펠 함수를 활용하여 이 방법의 경험적 성공을 정당화한다.
• 차수 파ameter $ d $ 는 모델 복잡도에 대한 조절 가능한 제어 역할을 하며, 다양한 이상치 패tern에 대한 민감도를 균형 잡는다.

실험 결과

연구 질문

• RQ1 왜 역모멘트 행렬의 SOS 다항식의 하위레벨 집합이 데이터 클라우드의 전반적인 형태를 정확히 반영하는가?
• RQ2 이 특정 SOS 다항식이 데이터 형태를 포착하는 데 관찰된 경험적 현상의 수학적 근거는 무엇인가?
• RQ3 다항식의 차수 $ d $ 가 이상치 식별 작업에서 탐지 성능에 어떻게 영향을 미치는가?
• RQ4 이 방법은 실세계 이상치 탐지에서 전문화된 최신 기술 수준의 기법들과 비교해 유사한 성능을 달성할 수 있는가?
• RQ5 역모멘트 행렬의 SOS 다항식의 내재 기하학적 및 통계적 성질은 무엇인가?

주요 결과

• 역모멘트 행렬의 SOS 다항식은 KDD Cup 99 데이터셋에서 기존 방법들과 비교해 유사하거나 더 뛰어난 이상치 탐지 성능을 보이며, 특히 'others' 및 'ftp' 트래픽 카테고리에서 유의미한 성과를 보였다.
• 'others' 데이터셋의 경우, AUPR(정밀도-재현율 곡선 아래 면적)는 $ d $ 가 증가함에 따라 정점에 도달한 후 안정화되거나 감소함을 보여, 복잡도에 최적의 차수 값이 존재함을 시사한다.
• $ d = 1 $ 의 경우 마할라노비스 거리에 해당하며 성능이 열악하여 고차수 다항식이 복잡한 데이터 구조를 포착하는 데 필수적임을 확인한다.
• 비타원형 또는 비정규 분포 구조에서도 다항식의 하위레벨 집합이 효과적으로 데이터 클라우드를 둘러싸며, 그림 3과 부록 A에서 이를 입증하였다.
• 이 방법은 애핀 불변성을 가지며, 좌표계의 임의성에 의한 잡음이 아닌 데이터 클라우드의 내재 기하학적 성질을 포착하고 있음을 시사한다.
• 이론적 분석을 통해 이 다항식이 양다항식 위의 볼록 최적화 문제의 유일한 최소화자임을 확인하였으며, 이는 다항식의 행동에 체계적인 이론적 근거를 제공한다.