[논문 리뷰] Towards Hardware implementation of video applications in new telecommunications devices

Lamjed Touil, Abdessalem Ben Abdelali외 2명|arXiv (Cornell University)|2010. 04. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 5인용 수 4

한 줄 요약

이 논문은 차세대 통신 장치에서 실시간 영상 처리를 가능하게 하기 위해 현장 프로그래머블 게이트 어레이(FPGA)를 사용하여 색상 구조 기술자(CSD)의 하드웨어 구현을 제안한다. FPGA 아키텍처가 내재하는 공간적 및 시간적 병렬성의 특성을 활용하여, 120×80 픽셀 해상도에서 CSD 계산에 실시간 성능을 달성함으로써 기존 프로세서가 영상 색인 및 검색 작업을 처리하는 데 겪는 한계를 극복한다.

ABSTRACT

Among the areas, most demanding in terms of calculation is the telecommunication and video applications are now included in several telecommunication devices such as set-top boxes, mobile phones. Embedded videos applications in new generations of telecommunication devices need a processing capacity that can not be achieved by the conventional processor, to work around this problem the use of programmable technology has a lot of interest. First, Field Programmable Gate Arrays (FPGAs) present many performance benefits for real-time image processing applications. The FPGA structure is able to exploit spatial and temporal parallelism. In this paper, we present a new method for implementation of the Color Structure Descriptor (CSD) using the FPGA circuit. In fact the (CSD) provides satisfactory image indexing and retrieval results among all colorbased descriptors in MPEG-7. But the real time implementation of this descriptor is still having problems. In this paper we propose a method for adapting this descriptor for possible implementation under the constraints of the video processing in real time. We have verified the real-time implementation of the (CSD) with an image size of 120*80 pixels.

연구 동기 및 목표

• 현대 통신 장치에서 실시간 영상 응용의 계산 요구 사항을 해결하기 위해.
• 고성능 영상 처리 워크로드를 처리하는 데 있어 기존 프로세서의 한계를 극복하기 위해.
• 프로그래머블 하드웨어를 사용하여 MPEG-7 기반 색상 기반 기술자인 CSD의 실시간 구현을 가능하게 하기 위해.
• 엄격한 시간 및 자원 제약 조건 하에서 임베디드 영상 시스템에 CSD를 구현하는 것이 가능한지 탐색하기 위해.

제안 방법

• 저자는 현장 프로그래머블 게이트 어레이(FPGA)를 사용하여 색상 구조 기술자(CSD)를 위한 전용 하드웨어 아키텍처를 설계한다.
• 구현은 FPGA의 내재된 병렬성을 활용하여 다수의 픽셀과 색상 성분을 동시에 처리한다.
• 실시간 처리 요구 사항을 충족시키기 위해 CSD 계산 파이프라인은 공간적 및 시간적 병렬성에 최적화되어 있다.
• 시스템은 120×80 픽셀 이미지에 대상으로 하며, 이는 모바일 및 임베디드 영상 응용에서 흔한 해상도이다.
• 설계는 FPGA 플랫폼에서 시간 및 자원 활용도에 대해 합성 및 검증된다.
• 프레임 버퍼링 지연 없이 실시간으로 영상 프레임을 처리함으로써 스트리밍 영상 입력을 지원한다.

실험 결과

연구 질문

• RQ1 색상 구조 기술자(CSD)는 실시간 영상 처리를 위한 통신 장치에서 효율적으로 하드웨어로 구현될 수 있는가?
• RQ2 FPGA 기반 아키텍처는 영상 응용의 CSD 계산을 가속화하기 위해 병렬성을 어떻게 활용할 수 있는가?
• RQ3 임베디드 영상 시스템에 CSD를 FPGA에 매핑할 때 성능 및 자원 간의 상충 관계는 어떠한가?
• RQ4 FPGA 기술을 사용하여 120×80 픽셀 해상도에서 실시간 CSD 처리를 달성하는 것이 가능한가?
• RQ5 제안된 하드웨어 설계는 소프트웨어 기반 CSD 구현 대비 지연 및 처리량 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 FPGA 기반 CSD 구현은 120×80 픽셀 이미지에 대해 실시간 처리 성능을 달성한다.
• 하드웨어 설계는 CSD 계산을 가속화하기 위해 공간적 및 시간적 병렬성을 성공적으로 활용한다.
• 시스템은 실시간 제약 조건을 충족하여 프레임 손실 없이 지속적인 영상 색인을 가능하게 한다.
• 임베디드 통신 장치에서 복잡한 영상 기술자를 FPGA를 사용하여 구현하는 것이 가능함을 입증한다.
• 설계는 확장 가능하며 적절한 자원 할당을 통해 더 높은 해상도에 적응할 수 있다.
• 결과는 FPGA 가속화가 실시간 영상 응용에서 CSD 계산에 있어 기존 프로세서 기반 접근 방식보다 현저히 뛰어나다는 것을 확인한다.