[논문 리뷰] Transcoding Billions of Unicode Characters per Second with SIMD Instructions

Daniel Lemire, Wojciech Muła|arXiv (Cornell University)|2021. 09. 21.

Algorithms and Data Compression참고 문헌 13인용 수 9

한 줄 요약

이 논문은 최신 x64 및 ARM 프로세서에서 초당 40억 자 이상의 문자를 처리할 수 있도록 최적화된 SIMD 가속 알고리즘을 제안한다. 이는 UTF-8과 UTF-16 간의 유니코드 텍스트 변환을 위한 것이다. AVX2 및 SSE 명령어를 활용하고, 압축된 색인 테이블과 비트 조작 기법을 적용함으로써, 기존의 ICU와 같은 라이브러리보다 최대 4배 빠른 성능을 달성한다. 이는 혼합 콘텐츠나 이모지가 풍부한 데이터에 대해서도 마찬가지이며, 테이블 공간은 약 11 KB 뿐이다.

ABSTRACT

In software, text is often represented using Unicode formats (UTF-8 and UTF-16). We frequently have to convert text from one format to the other, a process called transcoding. Popular transcoding functions are slower than state-of-the-art disks and networks. These transcoding functions make little use of the single-instruction-multiple-data (SIMD) instructions available on commodity processors. By designing transcoding algorithms for SIMD instructions, we multiply the speed of transcoding on current systems (x64 and ARM). To ensure reproducibility, we make our software freely available as an open source library.

연구 동기 및 목표

• 네트워크 및 디스크 속도 향상에도 불구하고, 시스템 처리량을 제한하는 유니코드 변환의 성능 저하 문제를 해결하기 위해.
• 전체 유효성 검사를 포함한 UTF-8과 UTF-16 간의 효율적인 변환을 보장하는 SIMD 최적화 알고리즘 설계를 위해.
• 다양한 워크로드, 특히 비-ASCII 및 이모지가 풍부한 텍스트를 포함한 환경에서도 메모리 사용량과 코드 부풀음을 최소화하면서 처리량을 극대화하기 위해.
• 실용적이고 이식 가능하며 오픈소스로 구현된 구현체를 제공하여 x64, ARM, POWER 아키텍처와 호환되도록 하기 위해.

제안 방법

• AVX2 및 SSE 명령어를 사용하여 다중 바이트 또는 16비트 워드를 동시에 처리하는 벡터화된 알고리즘 설계.
• 전체 약 11 KB의 소형 16바이트 색인 테이블을 사용하여 문자 길이 패턴에 기반해 UTF-8/UTF-16 데이터를 재배열하고 추출.
• 다중 바이트 시퀀스에서 코드 포인트를 효율적으로 추출하고 재구성하기 위해 비트 조작 및 마스크 연산 적용.
• 빠른 경로를 통해 ASCII 시퀀스를 탐지하고 색인 테이블 검색을 피하는 하이브리드 접근 방식 구현.
• 사전 계산된 인덱스를 기반으로 128비트 레지스터 내의 바이트를 재배열하기 위해 SIMD 재배열 명령어(예: pshufb) 사용.
• 벡터화된 검사를 통해 변환 중 입력 시퀀스의 유효성을 검증함. 바이트 계속성 및 리드 바이트 패턴에 대한 검사.

실험 결과

연구 질문

• RQ1 SIMD 명령어를 사용하여 UTF-8과 UTF-16 간의 전체 유니코드 변환(이모지 및 다중 바이트 문자 포함)을 효과적으로 가속화할 수 있는가?
• RQ2 SIMD를 사용할 때 유고 처리량을 달성하기 위해 필요한 최소 메모리 사용량은 얼마인가?
• RQ3 SIMD 기반 변환의 성능은 ICU 및 LLVM과 같은 최신 비-SIMD 라이브러리와 비교해 어떻게 되는가?
• RQ4 동일한 알고리즘이 플랫폼 특화 최적화 없이도 다양한 플랫폼(x64, ARM, POWER)에서 높은 성능을 유지할 수 있는가?
• RQ5 큰 색인 테이블이나 복잡한 데이터 정렬을 의존하지 않고도 고처리량을 달성할 수 있는가?

주요 결과

• 제안된 SIMD 기반 변환 함수는 최신 x64 및 ARM 프로세서에서 초당 40억 자 이상의 처리 속도를 달성하여, ICU 및 LLVM을 크게 앞서간다.
• UTF-8에서 UTF-16으로의 변환 속도가 반대 방향보다 빠르며, 성능 비율이 최대 2:1에 이르는 데, 이는 가변 길이 UTF-8 인코딩의 높은 복잡성 때문이다.
• 이 방법은 색인 테이블을 약 11 KB만 사용하여, 이전의 Inoue 등(105 KB)이나 Gatilov의 utf8lut(2 MB)와 비교해도 성능 손실 없이 훨씬 적은 메모리를 사용한다.
• 이 구현체는 이식 가능하며, 리눅스, 맥OS, 윈도우 및 다양한 CPU 아키텍처를 지원하는 바이너리 라이브러리로 컴파일되며, 크기는 50 KB 미만이다.
• utf8sse4 및 u8u16와 같은 기존 SIMD 솔루션보다 지시어 수를 줄이고 더 높은 처리량을 달성함으로써 성능을 뛰어나게 한다.
• 혼합 콘텐츠 데이터, 특히 이모지와 비-BMP 문자를 포함한 경우에도 많은 경쟁 기법들과 달리 높은 성능을 유지한다.