[論文レビュー] SMORE: A Cold Data Object Store for SMR Drives (Extended Version)

Peter Macko, Xiongzi Ge+5 more|arXiv (Cornell University)|May 26, 2017

Advanced Data Storage Technologies参考文献 22被引用数 5

ひとこと要約

SMOREは、ホスト管理またはホスト認識可能なSMRドライブを対象としたログ構造型でエラー訂正コードを用いたオブジェクトストレージであり、大容量オブジェクトのインジェストに全ディスク帯域幅を活用し、ゾーン移行による効率的なゴミ回収を実現する。ログレコードをオブジェクトデータとインタリーブすることでインデックスの耐障害性を確保し、追加のログ記録なしに、低遅延書き込み増幅（80％の使用率時で2.0未塔）と1分未塔のクラッシュ回復を達成する。

ABSTRACT

Shingled magnetic recording (SMR) increases the capacity of magnetic hard drives, but it requires that each zone of a disk be written sequentially and erased in bulk. This makes SMR a good fit for workloads dominated by large data objects with limited churn. To explore this possibility, we have developed SMORE, an object storage system designed to reliably and efficiently store large, seldom-changing data objects on an array of host-managed or host-aware SMR disks. SMORE uses a log-structured approach to accommodate the constraint that all writes to an SMR drive must be sequential within large shingled zones. It stripes data across zones on separate disks, using erasure coding to protect against drive failure. A separate garbage collection thread reclaims space by migrating live data out of the emptiest zones so that they can be trimmed and reused. An index stored on flash and backed up to the SMR drives maps object identifiers to on-disk locations. SMORE interleaves log records with object data within SMR zones to enable index recovery after a system crash (or failure of the flash device) without any additional logging mechanism. SMORE achieves full disk bandwidth when ingesting data---with a variety of object sizes---and when reading large objects. Read performance declines for smaller object sizes where inter- object seek time dominates. With a worst-case pattern of random deletions, SMORE has a write amplification (not counting RAID parity) of less than 2.0 at 80% occupancy. By taking an index snapshot every two hours, SMORE recovers from crashes in less than a minute. More frequent snapshots allow faster recovery.

研究の動機と目的

• SMRドライブが順方向書き込みとバルク消去を要するという制約を尊重しつつ、大容量かつ頻繁に変更されないデータオブジェクトを効率的に格納する課題に対処する。
• ドライブ管理型SMRの制限を超えるために、SMRの高効率な順方向スループットと1TBあたりの低コストを活用するシステムを設計する。
• 一度書き込まれて順方向に読み込まれるワークロード（メディア、バックアップ、仮想マシンイメージなど）に対して、信頼性が高く高性能なストレージを提供する。
• ランダムな削除やシステム障害が発生しても、書き込み増幅を最小限に抑え、迅速なクラッシュ回復を保証する。
• スタンドアロン運用とHDFSのような分散ストレージシステムへの統合を両立できるシステムを設計する。

提案手法

• SMRドライブのシャーリングドゾーンに大容量の領域を割り当て、順方向にデータを書き込むログ構造型のアプローチを採用し、順方向書き込み制約を遵守する。
• 別々のドライブ上のゾーンに分散してエラー訂正コードを適用することで、完全なレプリケーションを必要とせずに耐障害性と信頼性を確保する。
• ライブデータを部分的に埋められたゾーンから移行することで、領域を回収しゾーントリムを可能にする別個のゴミ回収スレッドを導入する。
• オブジェクトIDからディスク上の位置をマッピングするフラッシュバックドインデックスを維持し、クラッシュ回復用に定期的なスナップショットを提供する。
• SMRゾーン内にジャーナルログレコードをオブジェクトデータとインタリーブすることで、追加のログ記録なしにクラッシュ回復を実現し、障害後のインデックス整合性を保証する。
• ゾーンセットテーブルを用いて、ドライブ間でのゾーンの柔軟かつ動的なグループ化を管理し、予備ドライブを必要とせず、空きゾーンに再構築可能にする。

実験結果

リサーチクエスチョン

• RQ1 SMRドライブの高効率な順方向帯域幅を効率的に活用しつつ、順方向書き込みおよびバルク消去制約を満たすストレージシステムの設計方法は何か？
• RQ2 ランダムな削除が発生する最悪の環境下でも、SMRベースのシステムで書き込み増幅を最小限に抑えるための技術は何か？
• RQ3 外部のログ記録機構に依存せずに、効率的かつ信頼性の高いクラッシュ回復を実現する方法は何か？
• RQ4 ログインタリーブ設計により、システム障害またはフラッシュデバイス障害後もインデックスの整合性を保ち、迅速な回復が可能になるか？
• RQ5 SMOREのような特殊なオブジェクトストレージは、多様なオブジェクトサイズや現実的なワークロードにおいて、どの程度まで全ディスク帯域幅を達成できるか？

主な発見

• SMOREは、さまざまなオブジェクトサイズにおいて、データインジェスト時において全ディスク帯域幅を達成しており、SMRドライブのスループットを効率的に活用していることが示された。
• 80％のディスク使用率下で最悪のランダム削除パターンが発生しても、SMOREはRAIDパリティを除き、書き込み増幅が2.0未満であることを示しており、優れた効率性を示している。
• 2時間ごとのインデックススナップショットを活用することで、クラッシュ回復が1分未塔で達成可能であり、より頻繁なスナップショットではさらに高速な回復が可能である。
• ログレコードをオブジェクトデータとインタリーブすることで、追加のログ記録機構なしにクラッシュ回復が可能となり、システムの単純化と信頼性の向上が図られた。
• ゴミ回収は、最も空いているゾーンからデータを移行することで効果的に領域を回収し、予備ドライブを必要とせずゾーンの再利用を可能にした。
• 本システムはスタンドアロン運用とHDFSのような分散システムへの統合を両立でき、大規模なストレージ環境への応用可能性を高めた。