[論文レビュー] Microreboot -- A Technique for Cheap Recovery

George Candea, Shinichi Kawamoto+3 more|ArXiv.org|Jun 2, 2004

Orthopedic Surgery and Rehabilitation参考文献 28被引用数 366

ひとこと要約

この論文では、特別な状態ストアを介してプロセスの回復とデータの回復を分離することにより、個々のアプリケーションコンポonentの細分化された低コストな回復手法であるmicrorebootを紹介する。インターネットオークションシステムで評価した結果、通常はフル再起動を要する大多数の障害を回復でき、回復速度が10倍速く、失われた作業量も90%以上減少した。これにより、高可用性システムにおける能動的で透明かつ非破壊的なリジュベネーションが可能になった。

ABSTRACT

A significant fraction of software failures in large-scale Internet systems are cured by rebooting, even when the exact failure causes are unknown. However, rebooting can be expensive, causing nontrivial service disruption or downtime even when clusters and failover are employed. In this work we separate process recovery from data recovery to enable microrebooting -- a fine-grain technique for surgically recovering faulty application components, without disturbing the rest of the application. We evaluate microrebooting in an Internet auction system running on an application server. Microreboots recover most of the same failures as full reboots, but do so an order of magnitude faster and result in an order of magnitude savings in lost work. This cheap form of recovery engenders a new approach to high availability: microreboots can be employed at the slightest hint of failure, prior to node failover in multi-node clusters, even when mistakes in failure detection are likely; failure and recovery can be masked from end users through transparent call-level retries; and systems can be rejuvenated by parts, without ever being shut down.

研究の動機と目的

• 大規模なインターネットサービスにおけるフルシステム再起動の高コストと混乱を軽減すること。
• 障害に弱いエンタープライズソフトウェアにおける回復時間と失われた作業量を削減し、細分化されたコンポーネント回復を可能にすること。
• プロセスの回復とデータの回復を分離することで、個々のコンポーネントの安全かつ迅速な再起動を可能にすること。
• 高い誤検出率であっても、能動的で透明な回復を可能にすること。
• フルシャットダウンなしで部分的なリジュベネーションを可能にすることで、システムの可用性を向上させること。

提案手法

• 永続的なデータを専用の状態ストアに依存する、状態なしで良好に分離された単位としてアプリケーションコンポーネントを設計する。
• 特別な状態ストアを用いて、データ回復とプロセス回復を分離し、再起動間においてもデータの耐久性を保証する。
• エンドユーザーがmicrorebootの影響を認識しないように、透明なコールレベルリトライフレームワークを採用する。
• ほぼ定数時間のクリーンアップが可能な同期リソース回収を実装し、高速かつ安全なmicrorebootを実現する。
• 回復効果を評価するため、生産環境に類似したオークションシステムにプロトタイプを導入する。
• 障害を注入し、現実的なワークロード下での回復時間、失われた作業量、可用性を測定する。

実験結果

リサーチクエスチョン

• RQ1 細分化されたコンポーネント再起動（microrebooting）は、フルプロセス再起動と同等の障害を、はるかに低いコストと混乱で回復できるか？
• RQ2 回復速度とシステム可用性の観点から、microrebootingは従来のフルノードフェイルオーバーや再起動と比べてどのように異なるか？
• RQ3 透明なリトライメカニズムにより、microrebootingはエンドユーザーが障害を認識しない程度にどれほど故障を隠蔽できるか？
• RQ4 大規模で状態を持つインターネットサービスにおいて、安全かつ効率的なmicrorebootingを可能にするアーキテクチャパターンは何か？
• RQ5 リソースリークやヘイセンバグなどの一般的な障害タイプに対して、microrebootingはどの程度効果的か？

主な発見

• 評価されたオークションシステムにおいて、通常はフルプロセス再起動を要する大多数の障害がmicrorebootingによって回復された。
• microrebootingは、フルプロセス再起動よりも10倍速い回復速度を達成した。
• 回復中の失われた作業量は、フル再起動と比較して10倍減少した。
• microrebootingにより、フルシャットダウンなしでシステムのリジュベネーションが可能になり、メモリリークの存在下でも可用性が10倍向上した。
• 98%の高い誤検出率であっても、microrebootingは従来のフェイルオーバーに基づく回復を上回る効果を示した。
• 透明なコールレベルリトライにより、エンドユーザーがmicrorebootイベントを認識せず、非破壊的な回復が実現できた。