[論文レビュー] The use of Ethernet in the DataFlow of the ATLAS Trigger & DAQ

S. Stancu, Bob Dobinson+3 more|arXiv (Cornell University)|May 30, 2003

Distributed and Parallel Computing Systems参考文献 2被引用数 7

ひとこと要約

本論文は、ATLASトリガーおよびデータ取得（TDAQ）システムにおけるイーサネットの適性を評価し、フロー制御、VLAN、QoS、トランクングを含む重要な機能を備えたギガビットイーサネットを用いた高性能ネットワークアーキテクチャを提案する。適切な構成のもと、イーサネットは高いデータレートとリアルタイム制約を安定して処理できることを示しており、効果的なトラフィックシェーピングおよびフロー制御メカニズムにより、負荷下でも安定した性能を発揮することが確認された。

ABSTRACT

The article analyzes a proposed network topology for the ATLAS DAQ DataFlow, and identifies the Ethernet features required for a proper operation of the network: MAC address table size, switch performance in terms of throughput and latency, the use of Flow Control, Virtual LANs and Quality of Service. We investigate these features on some Ethernet switches, and conclude on their usefulness for the ATLAS DataFlow network.

研究の動機と目的

• ATLAS TDAQデータフロー・システムのバックボーンとしてイーサネットの実用性を評価すること。
• 高スループット・リアルタイム環境における信頼性の高い低遅延動作を実現するための必須イーサネット機能を同定すること。
• ATLASユースケースに応じたスイッチの能力（スループット、遅延、MACアドレステーブルサイズ、フロー制御、VLAN、QoS）を実機ハードウェアで評価すること。
• 適切なトポロジ設計とトラフィック管理を通じて、ネットワークの安定性およびフェイルセーフを確保すること。
• コンmodityイーサネットハードウェアが、LHCスケールのデータ取得における厳密な性能および信頼性要件を、適切な構成のもとで満たせることを検証すること。

提案手法

• PCにはギガビットイーサネット、ROBにはファストイーサネットを採用し、GE光リンクで相互接続するネットワークアーキテクチャを提案する。
• 3段階のメッセージフローを採用：L2SVがRoIリクエストをL2PUに負荷分散し、L2PUがインクリメンタル解析を実行し、結果をDFMに報告する。
• 完全なトラフィック制御を実現するためユニキャストメッセージを使用し、マルチキャストはROBへの低レートの「クリア」メッセージに限定する。
• リクエスト-レスポンスパターンによるトラフィックシェーピングを実装し、バッファオーバーフローを防ぎ、フロー制御を可能にする。
• 送信および受信両側でのフロー制御をテストし、ユーザレベルアプリケーションがソケットを素早く空にしない場合、受信側での効果が限定的であることを同定する。
• 帯域幅集約のためのトランキング（IEEE 802.3ad）を評価し、実際のトラフィックパターン下での負荷分散動作を分析する。

実験結果

リサーチクエスチョン

• RQ1 標準的なイーサネットスイッチは、ATLAS TDAQデータフロー・ネットワークの性能および信頼性要件を満たすことができるか？
• RQ2 高帯域幅NICと処理ノード間でのデータレート管理において、フロー制御はどの程度効果的か？
• RQ3 大規模でマルチノード構成のシステムにおいて、トランキング（LAG）は負荷分散およびネットワーク性能にどのような影響を与えるか？
• RQ4 QoS、VLAN、およびスイッチのMACアドレステーブルサイズは、ATLAS環境におけるネットワークの安定性およびスケーラビリティにどのように影響するか？
• RQ5 適切な構成のもとで、コンmodityイーサネットハードウェアは80 TB/sの原始データレートでのリアルタイムデータ取得をサポートできるか？

主な発見

• イーサネットは、高い帯域幅、マルチベンダーサポート、10 Gbpsへの段階的アップグレードの可能性があるため、ATLAS TDAQに適している。
• スイッチは、ROBおよびL2PUの規模を考慮し、大容量のMACアドレステーブル（≥1600エントリ）と低遅延を備えている必要がある。
• フロー制御はバッファが満杯になると送信レートを低下させるが、ユーザレベルアプリケーションがソケットを素早く空にしない場合、受信側での効果は限定的である。
• トランキングにより帯域幅を増加可能だが、フレームがリンク間でランダムに分散される場合、負荷が不均等になる可能性がある。ただし、多数の接続が存在する場合、この不均衡は統計的に緩和される。
• デュアルPentium 4（2.4 GHz）PCは、リクエスト-レスポンスのシナリオで約70 MB/sの受信を維持可能であり、ギガビットイーサネットでのPCの能力を裏付けている。
• ユニキャストメッセージの使用により、トラフィックパターンの完全な制御が可能であり、マルチキャストは低レートのクリアメッセージに限定されるため、スイッチの互換性が保証される。