[論文レビュー] Neural Packet Classification

Eric Liang, Hang Zhu+2 more|arXiv (Cornell University)|Feb 27, 2019

Network Packet Processing and Optimization参考文献 55被引用数 5

ひとこと要約

NeuroCutsは、分類時間とメモリ使用量を最適化することで、手動でチューニングされたアルゴリズムを上回る、コン pact で高パフォーマンスな決定木を生成するための深層強化学習（RL）アプローチを提案する。状態と行動の要約的表現を用いて、木構造の探索を効率的に行い、ClassBenchでは分類時間で中央値で18%の改善と、時間およびメモリ使用量で最大3倍の削減を達成した。

ABSTRACT

Packet classification is a fundamental problem in computer networking. This problem exposes a hard tradeoff between the computation and state complexity, which makes it particularly challenging. To navigate this tradeoff, existing solutions rely on complex hand-tuned heuristics, which are brittle and hard to optimize. In this paper, we propose a deep reinforcement learning (RL) approach to solve the packet classification problem. There are several characteristics that make this problem a good fit for Deep RL. First, many of the existing solutions are iteratively building a decision tree by splitting nodes in the tree. Second, the effects of these actions (e.g., splitting nodes) can only be evaluated once we are done with building the tree. These two characteristics are naturally captured by the ability of RL to take actions that have sparse and delayed rewards. Third, it is computationally efficient to generate data traces and evaluate decision trees, which alleviate the notoriously high sample complexity problem of Deep RL algorithms. Our solution, NeuroCuts, uses succinct representations to encode state and action space, and efficiently explore candidate decision trees to optimize for a global objective. It produces compact decision trees optimized for a specific set of rules and a given performance metric, such as classification time, memory footprint, or a combination of the two. Evaluation on ClassBench shows that NeuroCuts outperforms existing hand-crafted algorithms in classification time by 18% at the median, and reduces both time and memory footprint by up to 3x.

研究の動機と目的

• パケット分類用の決定木構築における手動でチューニングされたヒューリスティクスの限界、特に多様なルールセットに対して頑健でない・最適でないという問題に対処すること。
• 特定のルールセットと分類時間・メモリ使用量といったパフォーマンス目的を想定した、決定木の自動的かつエンドツーエンドの最適化を可能にすること。
• 木構築におけるスパarsな報酬と遅延報酬の構造（性能は木が完全に構築された後でのみ評価可能）を考慮し、深層RLを用いて効果的に探索すること。
• ドメイン固有のヒューリスティクスを組み込めるが最小限の人為的介入を要する、スケーラブルで一般化可能なソリューションを提供すること。
• ローカルなヒューリスティクスに基づく意思決定に依存するのではなく、グローバルに最適な木構造を学習することで、既存のソフトウェアベースのパケット分類器を凌駆すること。

提案手法

• NeuroCutsは、深層強化学習を用いてパケット分類木の構築を逐次的意思決定問題として定式化し、行動が木のノード分割に対応する。
• ルールの分布と木構造を効率的な探索と学習を可能にする固定長の状態空間表現を採用する。
• 最終的な木の性能に基づくスパースかつ遅延報酬を最大化するようにエージェントを学習させる。具体的には、分類時間とメモリ使用量の最小化を目的とする。
• 時間とメモリの両方を組み合わせた最適化を含む、柔軟な目的関数をサポートし、事前に用意されたヒューリスティクスを行動空間の一部として統合可能である。
• 高サンプル必要性に直面する深層RLの課題を軽減するため、カスタム環境を用いてデータトレースを生成し、候補となる木の評価を効率的に行う。
• PPOなどのアクタ・クリティック型深層RLアルゴリズムを用い、木の成長をコンパクトで高速な構造へ誘導する報酬形状を独自に設計する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、パケット分類のための決定木構築を、手作業で設計されたヒューリスティクスを上回る形で効果的に最適化できるか？
• RQ2 学習された方策は、異なるルールセットやパフォーマンス目的（例：分類時間、メモリ使用量）に一般化してうまく機能するか？
• RQ3 ドメイン固有のヒューリスティクスに依存せずに、コンパクトで高パフォーマンスな木を学習したエージェントが構築可能か？
• RQ4 事前に設計されたヒューリスティクスをRLフレームワークに統合することで、サンプル効率性とパフォーマンスがどの程度向上するか？
• RQ5 本手法は実世界のルールセットにスケーラブルであり、ClassBenchのような標準ベンチマークで測定可能な改善を達成できるか？

主な発見

• NeuroCutsは、ClassBenchデータセットにおいて、最先端の手作業でチューニングされたアルゴリズムと比較して、中央値の分類時間を18%削減した。
• 複数のルールセットにおいて、分類時間とメモリ使用量の両方で最大3倍の削減を達成し、顕著なパフォーマンス向上を示した。
• エンドツーエンドの学習により、よりコンパクトで高速な決定木を生成することで、既存のソフトウェアベースのパケット分類器を凌駆した。
• NeuroCutsはドメイン固有のヒューリスティクスをRLの行動空間に効果的に統合し、訓練の安定性とパフォーマンスを向上させつつ、最適化の柔軟性を損なわずに実現した。
• 本手法はスケーラブルで一般化可能であり、最悪ケースの分類時間やメモリ使用量といった多様な目的の最適化が可能である。
• 評価により、学習済み方策が異なるルールセットにうまく一般化することが確認され、実世界への展開における高い適応性を示した。