[論文レビュー] Randomized LU decomposition: An Algorithm for Dictionaries Construction

Aviv Rotbart, Gil Shabat+2 more|arXiv (Cornell University)|Feb 17, 2015

Algorithms and Data Compression参考文献 22被引用数 3

ひとこと要約

本論文は、学習データの低ランク行列因子分解のための確率的LU分解に基づく、高速でスケーラブルかつメモリ効率の良い辞書構築アルゴリズムを提案する。これにより、不完全辞書学習が可能となり、分類が簡素化され、SVDよりも高速かつメモリ使用量が少ない。また、最小限のファイル断片でもコンテンツベースのファイル種別検出において高い精度を達成し、PDF内の悪意あるコードを同定するなど、デジタルセキュリティ分野での強力な性能を示している。

ABSTRACT

In recent years, distinctive-dictionary construction has gained importance due to his usefulness in data processing. Usually, one or more dictionaries are constructed from a training data and then they are used to classify signals that did not participate in the training process. A new dictionary construction algorithm is introduced. It is based on a low-rank matrix factorization being achieved by the application of the randomized LU decomposition to a training data. This method is fast, scalable, parallelizable, consumes low memory, outperforms SVD in these categories and works also extremely well on large sparse matrices. In contrast to existing methods, the randomized LU decomposition constructs an under-complete dictionary, which simplifies both the construction and the classification processes of newly arrived signals. The dictionary construction is generic and general that fits different applications. We demonstrate the capabilities of this algorithm for file type identification, which is a fundamental task in digital security arena, performed nowadays for example by sandboxing mechanism, deep packet inspection, firewalls and anti-virus systems. We propose a content-based method that detects file types that neither depend on file extension nor on metadata. Such approach is harder to deceive and we show that only a few file fragments from a whole file are needed for a successful classification. Based on the constructed dictionaries, we show that the proposed method can effectively identify execution code fragments in PDF files. $ extbf{Keywords.}$ Dictionary construction, classification, LU decomposition, randomized LU decomposition, content-based file detection, computer security.

研究の動機と目的

• データ処理および分類タスクにおける効率的でスケーラブルな辞書構築手法の需要に対応すること。
• 特に大規模または疎なデータセットにおいて、SVDのような従来の手法の速度、メモリ使用量、スケーラビリティの制限を克服すること。
• 多様な応用に適用可能な汎用的で並列化可能な辞書構築フレームワークを開発すること。
• ファイル拡張子やメタデータに依存しない、堅牢なコンテンツベースのファイル種別識別を可能にすること。
• 本手法の有効性を、PDFのようなファイルに埋め込まれた実行コード断片を高精度で検出するという、コンピュータセキュリティ分野における応用において実証すること。

提案手法

• 訓練データに対して確率的LU分解を適用し、低ランク行列因子分解を実行することで、効率的な辞書学習を可能にする。
• 確率的LU分解を用いて不完全辞書を生成し、学習および分類プロセスの両方を簡素化する。
• 大規模かつ疎な行列を扱うために、確率的アルゴリズムの数値的安定性と計算効率を活用する。
• メタデータやファイル拡張子に依存せずに、生データから直接辞書を構築する。
• 学習された部分空間に新しい信号を射影することで、得られた辞書を信号分類に活用する。
• 並列処理可能でメモリ効率が良く、リアルタイムまたは大規模な展開に適した方法を保証する。

実験結果

リサーチクエスチョン

• RQ1 確率的LU分解は、辞書構築において、従来のSVDに比べて速度、メモリ使用量、スケーラビリティで優れていると言えるか？
• RQ2 得られた不完全辞書は、未観測の信号の正確な分類をどの程度可能にするか？
• RQ3 ファイル拡張子やメタデータに依存せずに、コンテンツベースのファイル種別検出をどの程度達成できるか？
• RQ4 本手法の辞書ベースのアプローチで信頼性のある分類を実現するために、最低何個のファイル断片が必要か？
• RQ5 本手法は、PDFのようなファイルに埋め込まれた実行コード断片を高精度で検出できるか？

主な発見

• 確率的LU分解手法は、特に大規模かつ疎な行列において、SVDよりも著しく高速かつメモリ効率が良い。
• 構築された辞書は不完全であるため、辞書学習および信号分類の両方が簡素化される。
• 本手法は、ファイルの完全な内容に依存せず、わずかなファイル断片のみでコンテンツベースのファイル種別検出において高い精度を達成する。
• 本手法は、PDFファイル内の実行コード断片を効果的に同定でき、デジタルセキュリティ分野での有用性を示している。
• アルゴリズムはスケーラブルかつ並列化可能であり、リアルタイムまたは大規模なデータ処理アプリケーションに適している。
• 本手法は疎なデータに対しても優れた性能を発揮し、このような状況下で従来のSVDを上回る。