[논문 리뷰] Linear-Time WordPiece Tokenization.

Xinying Song, Alex Salcianu외 3명|arXiv (Cornell University)|2020. 12. 31.

Natural Language Processing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 Aho-Corasick 알고리즘에 영감을 받은 추가 링크를 갖춘 최적화된 트라이 구조를 사용한 선형 시간 WordPiece 토크나이제이션 알고리즘인 LinMaxMatch를 소개한다. HuggingFace 및 TensorFlow Text 시스템 대비 평균 3배 빠르며, 긴 尾(롱테일) 입력에서는 4.5배 빠르게 동작하여 MaxMatch 문제에 대해 실용적인 효율성과 이론적 최적성을 동시에 확보한다.

ABSTRACT

WordPiece tokenization is a subword-based tokenization schema adopted by BERT: it segments the input text via a longest-match-first tokenization strategy, known as Maximum Matching or MaxMatch. To the best of our knowledge, all published MaxMatch algorithms are quadratic (or higher). In this paper, we propose LinMaxMatch, a novel linear-time algorithm for MaxMatch and WordPiece tokenization. Inspired by the Aho-Corasick algorithm, we introduce additional linkages on top of the trie built from the vocabulary, allowing smart transitions when the trie matching cannot continue. Experimental results show that our algorithm is 3x faster on average than two production systems by HuggingFace and TensorFlow Text. Regarding long-tail inputs, our algorithm is 4.5x faster at the 95 percentile. This work has immediate practical value (reducing inference latency, saving compute resources, etc.) and is of theoretical interest by providing an optimal complexity solution to the decades-old MaxMatch problem.

연구 동기 및 목표

• BERT 및 관련 모델에서 널리 사용되지만 여전히 이론적으로는 이차 또는 그 이상 복잡도를 가지는 기존 MaxMatch 알고리즘의 오랜 효율성 문제를 해결한다.
• 서브워드 토크나이제이션 분야에서 수십 년간 남아있던 도전 과제인 MaxMatch 문제에 대해 증명 가능하게 최적의 선형 시간 해법을 개발한다.
• 더 빠르고 확장 가능한 토크나이제이션을 통해 실세계 NLP 시스템에서 추론 지연 시간과 계산 비용을 줄인다.
• MaxMatch 문제에 대해 최적의 시간 복잡도를 달성함으로써 이론적 통찰을 제공하고, NLP 공학 분야에서 오랫동안 남아있던 열린 문제를 해결한다.

제안 방법

• WordPiece 토크나이제이션에서 사용되는 모든 가능한 서브워드 유닛을 표현하기 위해 어휘에서 트라이를 구축한다.
• Aho-Corasick 알고리즘에서 영감을 얻은 추가적인 실패 링크를 트라이에 추가하여 현재 경로 매칭에 실패했을 때 효율적인 전이를 가능하게 한다.
• 이러한 링크를 활용해 백트래킹을 피하고 선형 시간 성능을 유지하는 지능적인 상태 전이 메커니즘을 사용한다.
• 증강된 트라이를 가장 긴 매칭 우선(MaxMatch) 토크나이제이션 파이프라인에 통합하여 각 단계에서 최대한의 서브워드 분할을 보장한다.
• 입력 토큰을 단일 패assing으로 처리하도록 알고리즘을 설계하여 입력 길이 n에 대해 O(n) 시간 복잡도를 유지한다.
• 지능적인 연결 전파를 통해 재귀적 트라이 탐색을 최소화함으로써 평균 케이스 및 긴 尾 입력 성능 모두 최적화한다.

실험 결과

연구 질문

• RQ1 MaxMatch 기반 WordPiece 토크나이제이션에 대해 이차 복잡도 장벽을 뛰어넘는 선형 시간 알고리즘을 설계할 수 있는가?
• RQ2 HuggingFace 및 TensorFlow Text와 같은 생산 시스템과 비교했을 때 제안된 LinMaxMatch 알고리즘의 속도 및 확장성은 어떠한가?
• RQ3 희귀하거나 복잡한 시퀀스와 같은 긴 尾 입력에서 알고리즘이 성능을 얼마나 향상시키는가?
• RQ4 Aho-Corasick 스타일의 실패 링크로 강화된 트라이 기반 구조를 사용해 MaxMatch 문제에 대해 최적의 시간 복잡도를 달성할 수 있는가?
• RQ5 이 알고리즘이 실세계 NLP 구현 환경에서 추론 지연 시간과 컴퓨팅 자원 사용에 어떤 실질적 영향을 미치는가?

주요 결과

• LinMaxMatch는 MaxMatch 토크나이제이션에 대해 선형 시간 복잡도 O(n)을 달성하여 이 수십 년간의 문제에 대해 첫 번째 최적의 해법을 제공한다.
• 다양한 입력 분포에서 평균적으로 HuggingFace 및 TensorFlow Text 생산 토크나이저보다 3배 더 빠르게 동작한다.
• 긴 尾 입력의 95번째 백분위수에서 LinMaxMatch는 기준 시스템 대비 4.5배 더 빠르게 동작하여 복잡한 시퀀스에서 뛰어난 확장성을 입증한다.
• 짧은 입력과 긴 입력 모두에서 높은 효율성을 유지하며, 실세계 추론 워크로드에서 일관된 성능 향상을 보인다.
• 트라이에 도입된 실패 링크 덕분에 지능적이고 백트래킹이 없는 전이가 가능해져 선형 시간 성능 달성에 핵심적인 역할을 한다.
• 제안된 방법은 이론적으로 최적이면서도 실질적으로 배포 가능한 것으로, 저지연 NLP 시스템에 즉각적인 이점을 제공한다.