[論文レビュー] DeepBF: Malicious URL detection using Learned Bloom Filter and Evolutionary Deep Learning

Ripon Patgiri, Anupam Biswas+1 more|arXiv (Cornell University)|Mar 18, 2021

Caching and Content Delivery被引用数 5

ひとこと要約

本稿では、自己調整型2次元ブルームフィルタと進化的畳み込みニューラルネットワーク（evoCNN）を組み合わせた二段階型マルウェアURL検出システム、deepBFを提案する。2次元ブルームフィルタでは、変更されたMurmur2ハッシュ関数を用いて誤検出を低減するとともに高速化を実現し、evoCNNは未確認のURLを分類する。システムは、共通のURLを高速なフィルタ層にオフロードすることで、計算負荷を低減しつつ高い精度を達成する。

ABSTRACT

Malicious URL detection is an emerging research area due to continuous modernization of various systems, for instance, Edge Computing. In this article, we present a novel malicious URL detection technique, called deepBF (deep learning and Bloom Filter). deepBF is presented in two-fold. Firstly, we propose a learned Bloom Filter using 2-dimensional Bloom Filter. We experimentally decide the best non-cryptography string hash function. Then, we derive a modified non-cryptography string hash function from the selected hash function for deepBF by introducing biases in the hashing method and compared among the string hash functions. The modified string hash function is compared to other variants of diverse non-cryptography string hash functions. It is also compared with various filters, particularly, counting Bloom Filter, Kirsch extit{et al.}, and Cuckoo Filter using various use cases. The use cases unearth weakness and strength of the filters. Secondly, we propose a malicious URL detection mechanism using deepBF. We apply the evolutionary convolutional neural network to identify the malicious URLs. The evolutionary convolutional neural network is trained and tested with malicious URL datasets. The output is tested in deepBF for accuracy. We have achieved many conclusions from our experimental evaluation and results and are able to reach various conclusive decisions which are presented in the article.

研究の動機と目的

• エッジコンピューティングやIoTのような現代のシステムにおけるマルウェアURL検出の増大する課題に対処すること。
• 最適化されたブルームフィルタを用いて既知のURLを事前にフィルタリングすることで、深層学習モデルの計算負荷を軽減すること。
• 自己調整型2次元構造とバイアス強化型非暗号的ハッシュ関数を用いて、ブルームフィルタの精度と効率を向上させること。
• Cuckooフィルタ、カウンティングブルームフィルタ、Kirschらの手法などの既存フィルタと比較し、false positive rate（FPP）とメモリ効率の面でdeepBFの優位性を評価すること。
• 実際のマルウェアURLデータセットを用いてエンドツーエンドのシステムを検証し、ハイブリッドアーキテクチャが高精度を維持しながらモデル推論負荷を最小限に抑えることの有効性を示すこと。

提案手法

• 素数サイズの次元（m ≠ n）を用いた2次元ブルームフィルタを設計することで、ハッシュ分布の改善と衝突の低減を図る。
• 他の代替手法（MMurmur、SHA512など）と比較した実験的評価の結果、最適な非暗号的文字列ハッシュ関数としてMurmur2ハッシュ関数を選定・変更する。
• 実験的に検証されたように、暗号的強度の低下を伴わずに、ハッシュ関数に意図的なバイアスと冗長性を導入することで性能を向上させる。
• 二段階フィルタリング機構を実装する：まず、悪性（μBF）および良性（βBF）の2次元ブルームフィルタに照会する。両方ともfalseを返した場合に限り、URLをevoCNNに転送して分類する。
• 公開済みのマルウェアURLデータセット（Mamunデータセット）を用いてevoCNNを学習・評価し、新しいURLを分類する。
• evoCNNの出力をシステムに統合する：確認済みの悪性URLをμBFに挿入し、良性URLをβBFに挿入することで、システムが時間経過とともに学習・適応可能にする。

Figure 1: Mapping of $\mathcal{K}_{1}$ , $\mathcal{K}_{2}$ and $\mathcal{K}_{3}$ into Bloom Filter using $k=3$ hash functions and these hash functions are $\mathcal{H}_{1}()$ , $\mathcal{H}_{2}()$ , $\mathcal{H}_{3}()$ .

実験結果

リサーチクエスチョン

• RQ1 変更された非暗号的ハッシュ関数を用いた自己調整型2次元ブルームフィルタは、従来のおよび高度なブルームフィルタのバリエーションと比較して、false positive probability（FPP）とメモリ効率の面で優れていると言えるか？
• RQ2 ハッシュ関数に意図的なバイアスと冗長性を導入しても、ブルームフィルタのFPPは悪化するのか？ これは暗号的強度の低下を伴うが。
• RQ3 ブルームフィルタとevoCNNを組み合わせた二段階フィルタリングアーキテクチャは、深層学習モデルの負荷を軽減しつつ、高精度な検出を維持できるか？
• RQ4 Cuckooフィルタ、カウンティングブルームフィルタ、Kirschらの手法などの既存フィルタと比較して、deepBFは多様な実世界のテストケースにおいてどのような性能を示すか？
• RQ5 繰り返し挿入を経て学習されたブルームフィルタの挙動は、evoCNNの再訓練なしに長期的な検出精度をどの程度向上させ得るか？

主な発見

• 変更されたMurmur2ハッシュ関数は、バイアスと冗長性が高めであっても、FPPと速度の面で他の非暗号的ハッシュ関数（MMurmur、SHA512など）を上回った。
• 暗号的ハッシュ関数（例：SHA512）はブルームフィルタには不要であることが判明した。計算コストが高く、FPPに顕著な改善が見られず、一般的な仮定とは対照的であった。
• deepBFはCuckooフィルタ（CF）よりも低いFPPを達成した。CFは特にキーのサイズが大きく、繰り返し実行された場合に予測不能なFPPとメモリの肥大化を示した。
• 同じメモリ制約下でも、削除操作をサポートするカウンティングブルームフィルタ（CBF）は、従来のブルームフィルタよりも高いメモリ使用量と悪化したFPPを示した。
• 二段階アーキテクチャによりevoCNNの負荷が顕著に軽減された：深層学習モデルに渡されるのは、新規かつ未確認のURLのみであった。
• deepBFは複数回の実行において安定した性能を示した。一方、CFはハッシュシーディングの不備や設計上の欠陥により、繰り返し実行時に一貫性のない挙動を示し、クラッシュの可能性もあった。

Figure 2: Architecture self-adjusting Bloom Filter of deepBF depicting with five hash functions. The five hash functions are invoked for 10M items.