[論文レビュー] Sorting out typicality with the inverse moment matrix SOS polynomial

Jean B. Lasserre, Edouard Pauwels|arXiv (Cornell University)|Jun 13, 2016

Optical Network Technologies参考文献 12被引用数 31

ひとこと要約

本稿では、経験的モーメント行列の逆行列から導かれる和の平方（SOS）多項式を導入し、データクラウドのグローバルな形状を捉える。この手法は計算的に効率的でオンライン処理に適したアプローチであり、KDD Cup 99ネットワークインシデントデータセットにおいて、最先端の手法と同等の外れ値検出性能を達成しており、多項式の次数が調整可能な複雑さのパラメータとして機能する。

ABSTRACT

We study a surprising phenomenon related to the representation of a cloud of data points using polynomials. We start with the previously unnoticed empirical observation that, given a collection (a cloud) of data points, the sublevel sets of a certain distinguished polynomial capture the shape of the cloud very accurately. This distinguished polynomial is a sum-of-squares (SOS) derived in a simple manner from the inverse of the empirical moment matrix. In fact, this SOS polynomial is directly related to orthogonal polynomials and the Christoffel function. This allows to generalize and interpret extremality properties of orthogonal polynomials and to provide a mathematical rationale for the observed phenomenon. Among diverse potential applications, we illustrate the relevance of our results on a network intrusion detection task for which we obtain performances similar to existing dedicated methods reported in the literature.

研究の動機と目的

• 以前に注目されなかった経験的現象を説明する：特定のSOS多項式の下位集合が、データクラウドの形状を正確に捉えていること。
• 直交多項式およびクリスティオフ関数との関連を用いて、この現象に数学的基盤を提供すること。
• 高次元データにおける形状表現および外れ値検出のための計算的に効率的な手法を開発すること。
• 本手法の有効性を、特にネットワークインシデント検出における実世界データを用いて示すこと。
• 逆モーメント行列SOS多項式を、新たな内在的かつアフィン不変なデータ幾何の表現として確立すること。

提案手法

• 本手法は、データから計算された経験的モーメント行列の逆行列をGram行列とする和の平方（SOS）多項式を構築する。
• 多項式の次数はユーザーが指定し、取り扱うモーメントの数に対応する。次数が高いほど、より複雑な形状を捉えることができる。
• 各データポイントで多項式を評価し、外れ値度スコアを生成する。スコアが高いほど、データクラウドの典型的領域からの逸脱度が大きいことを示す。
• Woodburyの更新を用いたオンライン計算が可能であり、評価コストがデータサイズに依存しないため、カーネル法や近隣探索法とは異なり、スケーラビリティに優れる。
• 理論的関連性として直交多項式およびクリスティオフ関数を活用し、実験的成果の裏付けをとる。
• 次数パラメータ $ d $ は、モデルの複雑さを調整可能な制御パrameterとして機能し、多様な外れ値パターンへの感受性を調整できる。

実験結果

リサーチクエスチョン

• RQ1 なぜ逆モーメント行列SOS多項式の下位集合は、データクラウドのグローバルな形状を正確に反映するのか？
• RQ2 この特定のSOS多項式による形状捉えの経験的現象の背後にある数学的根拠は何か？
• RQ3 多項式の次数 $ d $ が外れ値同定タスクにおける検出性能にどのように影響を与えるか？
• RQ4 この手法は、実世界の異常検出において、特化した最先端技術と同等の性能を達成できるか？
• RQ5 逆モーメント行列SOS多項式の内在的幾何的および統計的性質は何か？

主な発見

• 逆モーメント行列SOS多項式は、KDD Cup 99データセットにおいて、既存の手法と同等またはそれ以上の外れ値検出性能を達成しており、特に「others」と「ftp」トラフィックカテゴリで顕著である。
• 「others」データセットでは、$ d $ が増加するにつれてAUPR（精度再現曲線下の面積）が上昇し、ピークに達した後は安定化または低下する傾向を示し、複雑さの最適な次数が存在することを示している。
• $ d = 1 $ の場合、マハラノビス距離に対応し、性能が著しく低い。これは、複雑なデータ構造を捉えるために高次多項式が不可欠であることを裏付けている。
• 多項式の下位集合は、楕円的でも正規分布的でもない形状に対しても、データクラウドを効果的に包摂しており、図3および付録Aで確認されている。
• 本手法はアフィン不変性を有しており、座標系のアーティファクトではなく、データクラウドの内在的幾何的性質を捉えていることを示唆している。
• 理論的分析により、多項式が正の多項式上での凸最適化問題の唯一の最小化子であることが確認され、その挙動に原理的根拠が与えられている。