[論文レビュー] Replay Debugging of Complex Real-Time Systems: Experiences from Two Industrial Case Studies

Daniel Sundmark, Henrik Thane+5 more|arXiv (Cornell University)|Nov 17, 2003

Real-Time Systems Scheduling参考文献 15被引用数 15

ひとこと要約

本論文は、特別なハードウェアを用いずに市販のRTOS上で軽量なシステムレベルのインストルメンテーションを適用することにより、大規模な産業用リアルタイムシステムにおいて決定論的リプレイデバッグが実現可能かつ実用的であることを示している。2つの事例研究（産業用ロボット制御および軍用レーダーシステム）のベンチマーク結果から、CPUオーバーヘッドは0.03–3.0%、メモリ帯域幅は2 MB/s未満であり、この手法が効率的かつ本番環境での導入が可能であることを裏付けている。

ABSTRACT

Deterministic replay is a method for allowing complex multitasking real-time systems to be debugged using standard interactive debuggers. Even though several replay techniques have been proposed for parallel, multi-tasking and real-time systems, the solutions have so far lingered on a prototype academic level, with very little results to show from actual state-of-the-practice commercial applications. This paper describes a major deterministic replay debugging case study performed on a full-scale industrial robot control system, as well as a minor replay instrumentation case study performed on a military aircraft radar system. In this article, we will show that replay debugging is feasible in complex multi-million lines of code software projects running on top of off-the-shelf real-time operating systems. Furthermore, we will discuss how replay debugging can be introduced in existing systems without impracticable analysis efforts. In addition, we will present benchmarking results from both studies, indicating that the instrumentation overhead is acceptable and affordable.

研究の動機と目的

• 複雑で現実世界の産業用リアルタイムシステムにおける決定論的リプレイデバッグの実現可能性を評価すること。
• 大規模なソフトウェアプロジェクトにおけるシステムレベルインストルメンテーションの性能オーバーヘッドを評価すること。
• リプレイデバッグを大規模な再アーキテクチャリングや専用ハードウェアなしに導入できることを実証すること。
• 異なるRTOSおよびハードウェアプラットフォーム間での手法の透明性と移植性を検証すること。
• 現実的で最悪の状況下におけるCPUおよびメモリ使用量をベンチマークすること。

提案手法

• システムコール、IPC、I/Oレイヤーにインストルメンテーションを適用することで、透明性と移植性を確保する。
• 軽量なソフトウェアプローブを用いて、リファレンス実行中に制御フローやデータフローのイベントを記録する。
• デバッガ環境で記録されたイベントを再実行することで、障害を正確に再現可能な決定論的リプレイを実現する。
• エントリおよびエグジットポイントのタイムスタンプを測定することで、インストルメンテーションのオーバーヘッドを正確に測定する。
• タスクまたはメッセージキューごとにデータフローのログを取得し、頻度およびサイズのメトリクスを収集する。
• ベンチマークにより、最悪のシナリオ下でのCPUサイクル、メモリ帯域幅、および使用率を測定する。

実験結果

リサーチクエスチョン

• RQ1 数百万行のコードを含む産業規模のリアルタイムシステムに、決定論的リプレイデバッグを効果的に適用できるか？
• RQ2 CPUおよびメモリ使用量の観点から、システムレベルインストルメンテーションの性能オーバーヘッドはどの程度か？
• RQ3 安全性が求められる高可用性システムへの導入に耐える十分なオーバーヘッドか？
• RQ4 専用ハードウェアやコンパイラーなしでリプレイデバッグを実装できるか？
• RQ5 高頻度のメッセージと大容量のデータサイズの組み合わせが、ログのオーバーヘッドにどのように影響するか？

主な発見

• システムレベルの制御フローインストルメンテーションは、両方の事例研究で0.03–0.05%のCPUオーバーヘッドしか引き起こさなかった。
• データフローインストルメンテーションによるCPU使用率は1.9–3.0%であり、許容範囲内に保たれていた。
• ABBロボティクスシステムでは、ログ記録に2 MB/sのメモリ帯域幅が必要だったが、システムリソースの範囲内に収まっていた。
• SAABアビオニクスシステムでは、制御およびデータフローの両方のログ記録に約12–15 kB/sが使用され、非常に低いメモリフットプリントであることが示された。
• 最も高いオーバーヘッド（3% CPU）は、大容量の状態構造を頻繁にログ記録する1つのタスクで観測された。
• 最悪の状況下でのベンチマーク結果でも、性能は許容範囲内であり、実世界での導入可能性が裏付けられた。