[論文レビュー] Towards Hardware implementation of video applications in new telecommunications devices

Lamjed Touil, Abdessalem Ben Abdelali+2 more|arXiv (Cornell University)|Apr 26, 2010

Advanced Image and Video Retrieval Techniques参考文献 5被引用数 4

ひとこと要約

本論文では、次世代の通信機器におけるリアルタイム動画処理を可能にするために、フィールドプロ grammable ゲートアレイ（FPGA）を用いたカラー構造記述子（CSD）のハードウェア実装を提案する。FPGAアーキテクチャに内在する空間的および時間的並列性を活用することで、120×80ピクセル解像度においてCSD計算のリアルタイム性能を達成し、動画インデキシングおよびリtrievalタスクにおける従来のプロセッサの制限を克服する。

ABSTRACT

Among the areas, most demanding in terms of calculation is the telecommunication and video applications are now included in several telecommunication devices such as set-top boxes, mobile phones. Embedded videos applications in new generations of telecommunication devices need a processing capacity that can not be achieved by the conventional processor, to work around this problem the use of programmable technology has a lot of interest. First, Field Programmable Gate Arrays (FPGAs) present many performance benefits for real-time image processing applications. The FPGA structure is able to exploit spatial and temporal parallelism. In this paper, we present a new method for implementation of the Color Structure Descriptor (CSD) using the FPGA circuit. In fact the (CSD) provides satisfactory image indexing and retrieval results among all colorbased descriptors in MPEG-7. But the real time implementation of this descriptor is still having problems. In this paper we propose a method for adapting this descriptor for possible implementation under the constraints of the video processing in real time. We have verified the real-time implementation of the (CSD) with an image size of 120*80 pixels.

研究の動機と目的

• 現代の通信機器におけるリアルタイム動画アプリケーションの計算要求に対処すること。
• 高スループットの動画処理ワークロードを処理する際の従来のプロセッサの制限を克服すること。
• プログラマブルハードウェアを用いて、MPEG-7ベースのカラー記述子であるカラー構造記述子（CSD）のリアルタイム実装を可能にすること。
• 時間的およびリソース制約が厳しい組み込み動画システムへのCSDのデプロイの可能性を検討すること。

提案手法

• 著者らは、フィールドプロ grammable ゲートアレイ（FPGA）を用いて、カラー構造記述子（CSD）の専用ハードウェアアーキテクチャを設計する。
• FPGAに内在する並列性を活用して、複数のピクセルおよび色成分を同時に処理する。
• リアルタイム処理要件を満たすために、空間的および時間的並列性を最適化したCSD計算パイプラインを構築する。
• システムは120×80ピクセル画像をターゲットとし、モバイルおよび組み込み動画アプリケーションで一般的な解像度である。
• FPGAプラットフォーム上でタイミングおよびリソース使用率の両面で設計を合成および検証する。
• バッファリング遅延なしにフレームをリアルタイムで処理できるように、ストリーミング動画入力をサポートする。

実験結果

リサーチクエスチョン

• RQ1 カラー構造記述子（CSD）は、通信機器におけるリアルタイム動画処理を支援するハードウェアで効率的に実装可能か？
• RQ2 FPGAベースのアーキテクチャは、動画アプリケーションのCSD計算を加速するために並列性をどのように活用できるか？
• RQ3 組み込み動画システムにCSDをFPGAにマッピングする際のパフォーマンスとリソースのトレードオフは何か？
• RQ4 FPGA技術を用いて120×80ピクセル解像度でCSDのリアルタイム処理を達成するのは可能か？
• RQ5 本研究で提示されたハードウェア設計は、ソフトウェアベースのCSD実装と比較して、遅延およびスループットの点でどのように異なるか？

主な発見

• 提示されたFPGAベースのCSD実装は、120×80ピクセル画像のリアルタイム処理を達成する。
• ハードウェア設計は、CSD計算の高速化に成功した空間的および時間的並列性を効果的に活用している。
• システムはリアルタイム制約を満たし、フレームの損失なしに継続的な動画インデキシングを可能にする。
• FPGAを用いた複雑な動画記述子の実装が、組み込み通信機器において実現可能であることを実証した。
• 設計はスケーラブルであり、適切なリソース割り当てにより、より高い解像度への対応が可能である。
• 結果から、FPGAによる加速が、リアルタイム動画アプリケーションにおけるCSD計算において、従来のプロセッサベースのアプローチを著しく上回ることが確認された。