[論文レビュー] Interleaved entropy coders

F. Giesen|arXiv (Cornell University)|Feb 14, 2014

Computability, Logic, AI Algorithms参考文献 5被引用数 26

ひとこと要約

本論文では、メタデータを一切用いずに複数のエントロピー符号化器——特に非対称数値システム（ANS）符号化器——を1つのビットストリームにインターリーブする手法を提案する。符号化/復号化中にエンコーダーとデコーダーの状態が同一のままであるという対称的状態の性質を活用することで、SIMDおよびGPU並列処理が極めて効率的に行える。これにより、スカラ実装と比較して復号性能が最大2.7倍向上する。

ABSTRACT

The ANS family of arithmetic coders developed by Jarek Duda has the unique property that encoder and decoder are completely symmetric in the sense that a decoder reading bits will be in the exact same state that the encoder was in when writing those bits---all "buffering" of information is explicitly part of the coder state and identical between encoder and decoder. As a consequence, the output from multiple ABS/ANS coders can be interleaved into the same bitstream without any additional metadata. This allows for very efficient encoding and decoding on CPUs supporting superscalar execution or SIMD instructions, as well as GPU implementations. We also show how interleaving without additional metadata can be implemented for any entropy coder, at some increase in encoder complexity.

研究の動機と目的

• SIMDおよびGPUアーキテクチャを用いたエントロピー符号化データストリームの効率的並列復号を実現すること。
• エンコーダーとデコーダーが同一の内部状態を維持するANS符号化器の対称的状態の性質を活用し、複数の符号化器をメタデータフリーでインターリーブ可能にする。
• この性質が、新たなインストルメンテッド符号化技術を用いることで、任意のエントロピー符号化器へ一般化可能であることを示すこと。
• スーパースカラCPUの実行とベクトル化されたGPUカーネルを活用し、高スルーレートかつ低遅延の復号を実現すること。
• 同じビットストリームフォーマットを用いることで、スカラ、SIMD、GPUプラットフォーム間で実装を統合可能な実用的で互換性のある実装を提供すること。

提案手法

• ANS符号化器が持つ独自の対称性に着目：各シンボルの出力後にデコーダーの状態がエンコーダーの状態と正確に一致するため、状態を保存したままのインターリーブが可能になる。
• 状態変数xを正規化区間I内に保つストリーミング型ANS定式化を採用し、状態の成長を制限するとともに、効率的な固定長算術演算を可能にする。
• エンコーダーとデコーダーの両方で、状態xに基づいてビットI/O操作を同期化するリノーマライゼーション機構を採用し、複数のエンコーダー間で一貫性のある振る舞いを確保する。
• 複数の独立したANS符号化器を並列に実行し、同じ状態遷移ルールに従って出力を1つのビットストリームにインターリーブすることで、ベクトル化実行を実現する。
• GPU最適化技術として、ワープレベルのボールォット命令やアトミック演算を用い、どのスレッドがリノーマライゼーションを必要としているかを示すマスクを形成し、メモリアクセスをコalesced化する。
• 符号化時にマルチストリームデコーダーをシミュレートすることで、任意のエントロピー符号化器への一般化を実現し、複数の符号化器間での状態遷移を予測・同期化する。

実験結果

リサーチクエスチョン

• RQ1 複数のANS符号化器を追加のメタデータなしに1つのビットストリームにインターリーブ可能か？その条件は何か？
• RQ2 ANS符号化器の対称的状態の性質を活用することで、SIMDおよびGPU並列復号をどのように効率化できるか？
• RQ3 現代のスーパースカラCPUおよびGPUアーキテクチャにおいて、インターリーブ復号によって得られる性能向上はどの程度か？
• RQ4 ANSのメタデータフリーインターリーブ特性は、ANS以外のエントロピー符号化器に対しても一般化可能か？
• RQ5 インターリーブ型ベクトル化エントロピー符号化を用いる際の、エンコーダーの複雑さとデコーダーの性能の実用的トレードオフは何か？

主な発見

• CPU上での2ウェイインターリーブ復号は、非インターリーブ型スカラ復号と比較して1.6倍から2.8倍の高速化を達成し、多様なデータセットで一貫した性能を示した。
• SSE4.1を用いた8ウェイインターリーブSIMDデコーダーは、スカラベースラインと比較して最大2.7倍の高速化を達成し、スーパースカラプロセッサでの優れたスケーラビリティを示した。
• SIMD実装はブランチフリーであり、入力データにかかわらずほぼ一定の性能を示したのに対し、スカラデコーダーは可変スルーレートを示した。
• 同じビットストリームフォーマットがスカラ、SIMD、GPU実装で互換性を持つため、異種の復号パイプラインへのシームレスな統合が可能になった。
• ワープレベルのボールォット命令やアトミック演算を用いたGPUベースの復号は、コalescedメモリアクセスと効率的なベクトル化を実現し、高スルーレートの復号を可能にした。
• 符号化時にマルチストリームデコーダーをインストルメンテーションすることで、任意のエントロピー符号化器へ一般化可能であり、エンコーダーの複雑さが増すものの、メタデータフリーのインターリーブが可能になった。