[논문 리뷰] Text Compression using Abstract Numeration System on a Regular Language

Ryoma Sin’ya|arXiv (Cornell University)|2013. 08. 01.

semigroups and automata theory참고 문헌 9인용 수 5

한 줄 요약

이 논문은 정규 언어 위에서 추상 수진 체계(ANS)를 기반으로 한 새로운 텍스트 압축 방법을 제안하며, 언어 간의 기수 변환을 활용하여 비선형 시간 복잡도를 달성한다. 주요 기여는 이론적으로 타당한 프레임워크를 제공하여 평균 압축 비율을 계산 가능하게 하고, 압축 비율을 희생시키지 않은 블록 기반 압축을 가능하게 하며, 최적의 성능을 위해 계승 언어(factorial languages)를 사용한다.

ABSTRACT

An abstract numeration system (ANS) is a numeration system that provides a one-to-one correspondence between the natural numbers and a regular language. In this paper, we define an ANS-based compression as an extension of this correspondence. In addition, we show the following results: 1) an average compression ratio is computable from a language, 2) an ANS-based compression runs in sublinear time with respect to the length of the input string, and 3) an ANS-based compression can be extended to block-based compression using a factorial language.

연구 동기 및 목표

• 정규 언어 위에서 추상 수진 체계(ANS)를 사용한 압축 프레임워크를 개발한다.
• 대부분의 ANS 원천 함수, 예를 들어 표현 함수와 평가 함수의 계산 복잡도를 분석한다.
• ANS 기반 압축의 평균 압축 비율을 계산 가능한 공식으로 유도한다.
• 계승 언어를 사용하여 높은 압축 효율성을 유지하는 블록 기반 압축 방법을 설계한다.
• 충분히 큰 블록 크기에서 블록 기반 압축이 압축 비율을 유지함을 입증한다.

제안 방법

• 메서드는 정규 언어 내 문자열과 자연수 사이의 일대일 대응을 추상 수진 체계(ANS)를 통해 구현한다.
• 기계 기반 행렬 표현과 인접 행렬을 사용하여 두 정규 언어 간의 기수 변환을 정의한다.
• 표현 함수 rep_S는 자연수를 정규 언어 L 내의 문자열로 매핑하고, 평가 함수 val_S는 문자열을 다시 수치로 매핑한다.
• 압축 과정은 입력 문자열을 rep_S를 사용해 수치 표현으로 변환한 후, 목표 언어 L'로의 기수 변환을 통해 인코딩한다.
• 블록 기반 압축의 경우 입력이 고정 길이의 블록으로 분할되며, 각 블록은 원래 언어에서 유도된 계승 언어를 사용하여 변환되어 순서와 압축 효율성을 유지한다.
• 압축된 블록의 길이는 로그 기반 설명으로 인코딩되며, 블록 크기가 크면 총 오버헤드가 무시 가능해진다.

실험 결과

연구 질문

• RQ1 기반 정규 언어의 구조로부터 ANS 기반 압축의 평균 압축 비율을 계산할 수 있는가?
• RQ2 입력 길이에 비례하여 ANS의 핵심 연산(rep_S 및 val_S)의 시간 복잡도는 어떻게 되는가?
• RQ3 단일 문자열 압축과 동일한 압축 비율을 유지하는 블록 기반 압축을 설계할 수 있는가?
• RQ4 계승 언어의 사용이 압축 효율성과 블록 단위 인코딩 오버헤드에 어떤 영향을 미치는가?
• RQ5 블록 기반 ANS 압축에서 블록 길이 인코딩 오버헤드가 무시 가능해지는 조건은 무엇인가?

주요 결과

• ANS 기반 압축의 평균 압축 비율은 정규 언어의 구조로부터 계산 가능하며, 정리 4.1에 의해 공식화되었다.
• ANS 기반 압축 알고리즘은 입력 문자열 길이에 대해 비선형 시간 복잡도로 작동하며, 표 1에 의해 입증되었다.
• 계승 언어를 사용한 블록 기반 압축 방법은 충분히 큰 블록 크기에서 단일 문자열 압축과 동일한 압축 비율을 유지함을 정리 5.1에서 증명하였다.
• 블록 길이의 인코딩 오버헤드는 최대 블록 길이에 대해 로그 기반이며, 블록 크기가 크면 무시 가능해져 전체 압축 효율성에 영향을 주지 않는다.
• 압축 프레임워크는 기계 이론에 엄밀하게 기반하여, 무작위 유한 자동기(UFA)의 행렬 표현을 사용해 세고 함수를 계산하고 기수 변환을 지원한다.
• 공개된 오픈소스 ANS 기반 압축 라이브러리가 존재하여 검증 및 확장이 가능하다.