[논문 리뷰] A Formal Perspective on Byte-Pair Encoding

Vilém Zouhar, Clara Meister외 5명|arXiv (Cornell University)|2023. 06. 29.

Algorithms and Data Compression인용 수 5

한 줄 요약

이 논문은 압축 효용을 최대화하는 조합 최적화 문제로 바이트-페어 인코딩(BPE)을 형식화하며, 하위모듈러 함수 이론을 사용해 탐욕적 BPE 알고리즘의 1−e−σ(µ⋆) 근사 비율(실제로는 약 0.37)을 증명한다. 또한 O(N log M) 실행 시간 최적화된 탐욕적 BPE 구현과 메모이제이션 기반 정확한 알고리즘을 제안하여 최적의 병합 순서 계산을 가능하게 한다.

ABSTRACT

Byte-Pair Encoding (BPE) is a popular algorithm used for tokenizing data in NLP, despite being devised initially as a compression method. BPE appears to be a greedy algorithm at face value, but the underlying optimization problem that BPE seeks to solve has not yet been laid down. We formalize BPE as a combinatorial optimization problem. Via submodular functions, we prove that the iterative greedy version is a $\frac{1}{σ(\boldsymbolμ^\star)}(1-e^{-{σ(\boldsymbolμ^\star)}})$-approximation of an optimal merge sequence, where ${σ(\boldsymbolμ^\star)}$ is the total backward curvature with respect to the optimal merge sequence $\boldsymbolμ^\star$. Empirically the lower bound of the approximation is $\approx 0.37$. We provide a faster implementation of BPE which improves the runtime complexity from $\mathcal{O}\left(N M ight)$ to $\mathcal{O}\left(N \log M ight)$, where $N$ is the sequence length and $M$ is the merge count. Finally, we optimize the brute-force algorithm for optimal BPE using memoization.

연구 동기 및 목표

• 압축 효용을 최대화하는 조합 최적화 문제로 BPE 학습을 형식화하는 것.
• 하위모듈러 함수 이론을 활용해 탐욕적 BPE 알고리즘의 이론적 성능 보장을 수립하는 것.
• 새로운 데이터 구조를 통해 기존 O(NM) 복잡도에서 O(N log M)으로 탐욕적 BPE의 실행 시간 효율을 향상시키는 것.
• 메모이제이션과 안전한 순열 정렬 기법을 활용해 최적의 BPE 병합 순서 계산을 위한 정확한 알고리즘을 개발하는 것.
• BPE의 NLP 분야, 특히 서브워드 토큰화에서의 경험적 성공에 대한 형식적 기반을 제공하는 것.

제안 방법

• 압축 효용 함수를 최대화하는 조합 공간에 제약 조건을 부여한 BPE의 형식화를 제안한다.
• 탐욕적 BPE의 근사 비율을 총 후행 곡률 σ(µ⋆)를 사용해 1/σ(µ⋆)(1−e−σ(µ⋆))로 경계한다.
• 최대 힙과 분석적 분석 기반의 데이터 구조를 도입해 탐욕적 BPE의 시간 복잡도를 O(NM)에서 O(N log M)로 감소시킨다.
• 메모이제이션과 안전한 순열 정렬 기법을 적용해 정확한 BPE 계산에서 동일한 병합 순서를 반복 탐색하는 것을 방지한다.
• 병합 충돌과 안전한 순열을 정의하여 두 병합 순서가 동일한 괄호화 결과를 낳는 조건을 특성화한다.
• 부분 순서 ⋗를 사용해 정확한 알고리즘에서 비표준 병합 순서를 정렬하여 탐색 공간을 줄인다.

실험 결과

연구 질문

• RQ1 BPE가 해결하는 근본적인 최적화 문제의 본질은 무엇이며, 이를 형식적으로 정의할 수 있는가?
• RQ2 탐욕적 BPE 알고리즘이 최적의 병합 순서에 비해 어떤 이론적 근사 보장을 달성하는가?
• RQ3 기존 구현의 O(NM) 복잡도를 초월해 탐욕적 BPE의 실행 시간을 향상시킬 수 있는가?
• RQ4 최적의 BPE 병합 순서를 위한 정확한 알고리즘을 어떻게 구성하고 최적화할 수 있는가?
• RQ5 정확한 BPE 계산에서 효과적인 정렬을 가능하게 하는 병합 순서의 구조적 특성은 무엇인가?

주요 결과

• σ(µ⋆) ≈ 2.5를 바탕으로 탐욕적 BPE 알고리즘이 최적 병합 순서에 비해 압축 효용 비율의 하한 약 0.37을 확보한다.
• 탐욕적 BPE의 실행 시간이 O(N log M)으로 최적화되어 기존 O(NM) 복잡도의 구현보다 크게 향상되었다.
• 메모이제이션과 안전한 순서 정렬 기법을 활용한 정확한 BPE 알고리즘은 브루트 포스 탐색(O(NM min(|Σ|2M, NM)) 시간)보다 빠르다.
• 압축 효용 함수가 제약 조건이 있는 공간에서 특수한 종류의 하위모듈러 함수임을 입증하여 이론적 보장을 가능하게 한다.
• 제안된 정확한 알고리즘은 안전한 순열에 대한 등가성 특성을 활용해 중복 병합 순서를 정렬함으로써 탐색 공간을 줄이되, 최적성은 유지한다.
• 실험 결과에 따르면, 합성 토이 예제에서는 최적 성능을 달성하지 못하더라도 실제 자연어 데이터에서는 탐욕적 BPE가 최적에 매우 가까운 성능을 보인다.