[논문 리뷰] A Bijective String Sorting Transform

Hendrian, Diptarama, Köppl, Dominik외 2명|arXiv (Cornell University)|2012. 01. 15.

Algorithms and Data Compression참고 문헌 10인용 수 36

한 줄 요약

이 논문은 표준 Burrows-Wheeler 변환(BWT)과 달리, 센티널 문자나 회전 인덱스를 필요로 하지 않고 모든 입력 문자열에 대해 가역적인 이항 문자열 정렬 변환(S-transform)을 제안한다. S-transform은 순환 접두사와 치환을 기반으로 한 새로운 정렬 메커니즘을 통해 동일한 문자들을 그룹화하며, 캘거리 코퍼스에서 BWT보다 더 나은 압축 비율을 달성한다. PIC 파일에서 최대 11.37%의 향상이 있었고, 전체 파일 평균으로는 3.05%의 개선을 기록했으며, 변환 및 역변환 모두 선형 시간 및 공간 복잡도를 유지한다.

ABSTRACT

Given a string of characters, the Burrows-Wheeler Transform rearranges the characters in it so as to produce another string of the same length which is more amenable to compression techniques such as move to front, run-length encoding, and entropy encoders. We present a variant of the transform which gives rise to similar or better compression value, but, unlike the original, the transform we present is bijective, in that the inverse transformation exists for all strings. Our experiments indicate that using our variant of the transform gives rise to better compression ratio than the original Burrows-Wheeler transform. We also show that both the transform and its inverse can be computed in linear time and consuming linear storage.

연구 동기 및 목표

• 표준 BWT가 센티널 문자나 회전 인덱스와 같은 추가 메타데이터가 필요로 하는 것과 달리, 모든 문자열에 대해 가역적인 이항 변환을 개발하는 것.
• BWT보다 더 효과적으로 동일한 문자를 그룹화함으로써 압축 효율을 향상시키면서도 BWT의 구조적 이점을 유지하는 것.
• 암호화와 같은 데이터 기밀성 요구 사항을 충족하는 응용 분야에 적합하고 계산적으로 효율적인 변환을 설계하는 것.
• 연속적인 최소 접두사에서 유도된 부분문자열의 회전을 정렬하는 데 기반한 새로운 변환의 형식화 및 정당성 증명.
• 역변환을 일반화된 사이클 이동 알고리즘을 사용해 선형 시간에 계산할 수 있음을 보여주는 것.

제안 방법

• S-transform은 입력 문자열을 반복적으로 가장 사전순으로 작은 접두사를 선택하고 제거함으로써 부분문자열로 분해한다.
• 이 부분문자열의 모든 회전을 생성하고, 이를 하나의 목록으로 사전순으로 정렬한다.
• 변환 결과는 각 정렬된 회전의 마지막 문자를 취함으로써 생성되며, 이는 동일한 문자들이 함께 그룹화된 문자열을 만든다.
• 역변환은 변환의 구조에서 유도된 치환 ϑ를 사용한다. 여기서 ϑ는 변환된 문자열의 위치를 원본 문자열의 순환 순서에서 이전 문자의 위치로 매핑한다.
• 원본 문자열을 변환된 문자열과 치환 ϑ로부터 재구성하기 위해 일반화된 사이클 이동 알고리즘인 MultiThread를 사용하며, 이 알고리즘은 ϑ의 사이클을 마지막 문자에서 첫 번째 문자로 향해 처리한다.
• 임시 배열을 사용해 방문한 위치를 추적하고 처리된 것으로 표시함으로써, 알고리즘이 선형 시간 및 공간 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 BWT처럼 동일한 문자를 그룹화하지만 센티널 문자나 회전 인덱스가 필요 없는 이항 문자열 정렬 변환을 구성할 수 있는가?
• RQ2 이러한 변환이 표준 코퍼스에서 BWT와 비교해 더 나은 또는 동등한 압축 성능을 달성하는가?
• RQ3 이 변환의 역변환은 추가 메타데이터 없이 선형 시간 및 공간 복잡도로 효율적으로 계산될 수 있는가?
• RQ4 치환 사이클 기반의 결정적이고 알고리즘적으로 효율적인 과정을 통해 이 변환이 가역적인가?
• RQ5 BWT 역변환에 사용되는 동일한 핵심 알고리즘을 일반화된 사이클 이동 메커니즘을 통해 이 새로운 변환과 함께 사용할 수 있는가?

주요 결과

• S-transform은 캘거리 코퍼스의 모든 파일에서 BWT보다 더 나은 압축을 달성했으며, GEO를 제외한 모든 파일에서 성능 향상을 보였다. 전체 파일 평균으로는 3.05%의 개선을 기록했다.
• PIC 파일에서는 S-transform이 11.37%의 압축 이득을 기록했으며, 코퍼스 내에서 가장 높은 수준의 향상이었다.
• S-transform은 압축 이득이 미미한 경우에도 BWT를 능가한다. 예를 들어 PROGL 파일에서는 상대 이득이 1.02%에 불과했지만, 200바이트의 저장 공간 절감이 이루어졌다.
• 역변환은 MultiThread 알고리즘을 사용해 정확히 계산되었으며, 이 알고리즘은 치환 ϑ의 사이클을 마지막 문자에서 첫 번째 문자로 향해 처리하여 원본 문자열을 재구성한다.
• S-transform과 그 역변환은 모두 O(n) 시간 및 O(n) 공간 복잡도로 계산 가능하며, 표준 BWT와 동일한 효율성을 확보한다.
• S-transform은 이항성: 모든 출력 문자열이 정확히 하나의 입력 문자열에 유일하게 대응되며, 이로 인해 센티널 문자나 회전 인덱스가 필요 없어진다.