[논문 리뷰] Interleaved entropy coders

F. Giesen|arXiv (Cornell University)|2014. 02. 14.

Computability, Logic, AI Algorithms참고 문헌 5인용 수 26

한 줄 요약

이 논문은 메타데이터 없이 여러 엔트로피 코더를 단일 비트스트림에 교차 배치시키는 방법을 제안한다. 특히 비대칭 숫자 체계(ANS) 코더를 대상으로 하며, 코더와 디코더의 상태가 동일하게 유지되는 대칭적 상태 행동을 활용한다. 인코더와 디코더의 상태가 일치하므로, 고도로 효율적인 SIMD 및 GPU 병렬 처리가 가능하며, 스칼라 구현 대비 최대 2.7배 빠른 복구 성능을 달성한다.

ABSTRACT

The ANS family of arithmetic coders developed by Jarek Duda has the unique property that encoder and decoder are completely symmetric in the sense that a decoder reading bits will be in the exact same state that the encoder was in when writing those bits---all "buffering" of information is explicitly part of the coder state and identical between encoder and decoder. As a consequence, the output from multiple ABS/ANS coders can be interleaved into the same bitstream without any additional metadata. This allows for very efficient encoding and decoding on CPUs supporting superscalar execution or SIMD instructions, as well as GPU implementations. We also show how interleaving without additional metadata can be implemented for any entropy coder, at some increase in encoder complexity.

연구 동기 및 목표

• SIMD 및 GPU 아키텍처를 활용해 엔트로피 코딩된 데이터 스트림을 효율적으로 병렬 복구하는 것을 목적으로 한다.
• ANS 코더의 대칭적 상태 행동(인코더와 디코더가 동일한 내부 상태를 유지함)을 활용하여 메타데이터 없이 여러 코더를 교차 배치할 수 있도록 한다.
• 이러한 성질이 새로운 인스트루멘티드 인코딩 기법을 통해 어떤 엔트로피 코더이든 일반화될 수 있음을 보여준다.
• 초고속 및 저지연 복구를 위해 슈퍼스칼라 CPU 실행 및 벡터화된 GPU 커널을 활용한다.
• 동일한 비트스트림 형식을 사용해 스칼라, SIMD, GPU 플랫폼 간에 실용적이고 호환 가능한 구현을 제공한다.

제안 방법

• ANS 코더의 고유한 대칭성에 기반: 각 기호 쓰기 후 디코더의 상태가 정확히 인코더의 상태와 일치하므로, 상태를 유지하는 교차 배치가 가능하다.
• 상태 변수 x가 정규화된 간격 I 내에 유지되도록 스트림 기반 ANS 공식화를 사용하여 상태 성장 억제 및 효율적인 고정 폭 산술 연산을 가능하게 한다.
• 인코더와 디코더 양쪽에서 상태 x에 기반해 비트 I/O 동작을 동기화하는 재정규화 메커니즘을 적용하여, 다양한 인코더 간 일관된 동작을 확보한다.
• 다중 독립적 ANS 코더를 병렬로 실행하고, 동일한 상태 진화 규칙을 사용해 그 출력을 단일 비트스트림에 교차 배치함으로써 벡터화된 실행을 구현한다.
• 워프 수준의 복귀 지시어 또는 원자 연산을 사용해, 어느 스레드가 재정규화가 필요한지 나타내는 마스크를 형성함으로써 GPU 최적화 기법을 적용하고, 메모리 접근을 통합한다.
• 인코딩 시 다중 스트림 디코더를 시뮬레이션하여 상태 전이를 예측하고 여러 코더 간에 정렬함으로써, 이 방법을 어떤 엔트로피 코더든 일반화한다.

실험 결과

연구 질문

• RQ1 메타데이터 없이 여러 ANS 코더를 단일 비트스트림에 교차 배치할 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ2 ANS 코더의 대칭적 상태 행동을 어떻게 활용해 SIMD 및 GPU 병렬 복구를 효율적으로 구현할 수 있는가?
• RQ3 현대의 슈퍼스칼라 CPU 및 GPU 아키텍처에서 교차 복구를 통해 달성할 수 있는 성능 향상은 어느 정도인가?
• RQ4 ANS의 메타데이터 없이 교차 배치 가능한 성질이 ANS 이외의 엔트로피 코더로 일반화될 수 있는가?
• RQ5 교차 벡터화된 엔트로피 코딩을 사용할 경우, 인코더 복잡도와 디코더 성능 간의 실용적 트레이드오프는 무엇인가?

주요 결과

• CPU에서 2-way 교차 복구는 다양한 데이터 세트에서 비교적 일관된 성능을 보이며, 스칼라 복구 대비 1.6×에서 2.8×의 성능 향상을 달성한다.
• SSE4.1를 사용한 8-way 교차 SIMD 복구는 스칼라 기준 대비 최대 2.7×의 성능 향상을 보이며, 슈퍼스칼라 프로세서에서 우수한 확장성을 입증한다.
• SIMD 구현은 분기 없이 구현되어 입력 데이터에 관계없이 거의 일정한 성능을 보이며, 스칼라 디코더와 달리 변동성이 크지 않다.
• 동일한 비트스트림 형식이 스칼라, SIMD, GPU 구현 간 호환 가능하여 이질적인 복구 파이프라인에 원활하게 통합될 수 있다.
• 워프 수준의 복귀 지시어 또는 원자 연산을 사용한 GPU 기반 복구는 통합된 메모리 접근과 효율적인 벡터화를 가능하게 하여 고속도 복구를 실현한다.
• 인코딩 시 다중 스트림 디코더를 시뮬레이션함으로써 이 방법을 어떤 엔트로피 코더든 일반화할 수 있으며, 이는 인코더 복잡도 증가를 감수하더라도 메타데이터 없이 교차 배치가 가능하다는 것을 의미한다.