[논문 리뷰] Replace or Retrieve Keywords In Documents at Scale

Vikash Singh|arXiv (Cornell University)|2017. 10. 31.

Algorithms and Data Compression참고 문헌 4인용 수 29

한 줄 요약

이 논문은 트라이 기반 데이터 구조를 사용하여 대규모 텍스트 문서에서 키워드 검색 및 교체를 빠르게 수행할 수 있는 선형 시간 알고리즘인 FlashText를 소개한다. 정규식과 달리 큰 키워드 집합에서 성능이 떨어지지 않으며, 키워드 수에 관계없이 항상 O(N) 복잡도를 보이며, 단일 문서에서 15,000개의 키워드를 처리할 경우 정규식 대비 최대 82배 빠르게 동작한다.

ABSTRACT

In this paper we introduce, the FlashText algorithm for replacing keywords or finding keywords in a given text. FlashText can search or replace keywords in one pass over a document. The time complexity of this algorithm is not dependent on the number of terms being searched or replaced. For a document of size N (characters) and a dictionary of M keywords, the time complexity will be O(N). This algorithm is much faster than Regex, because regex time complexity is O(MxN). It is also different from Aho Corasick Algorithm, as it doesn't match substrings. FlashText is designed to only match complete words (words with boundary characters on both sides). For an input dictionary of {Apple}, this algorithm won't match it to 'I like Pineapple'. This algorithm is also designed to go for the longest match first. For an input dictionary {Machine, Learning, Machine learning} on a string 'I like Machine learning', it will only consider the longest match, which is Machine Learning. We have made python implementation of this algorithm available as open-source on GitHub, released under the permissive MIT License.

연구 동기 및 목표

• 대규모 키워드 사전(예: 10,000개 이상의 용어)을 처리할 때 정규식 기반 키워드 검색 및 교체의 성능 저하 문제를 해결하기 위해.
• 문서 크기에 비례하여 선형적으로 확장되며, 키워드 수에 관계없이 독립적인 솔루션을 설계하기 위해.
• 실제 정보 검색 워크로드(예: 이력서 파싱, 동의어 정규화 등)에 적용 가능한 실용적이고 오픈소스 도구를 제공하기 위해.
• 다양한 키워드 집합 크기와 문서 길이에서 정규식과의 성능 비교를 통해 FlashText의 성능 향상을 정량화하기 위해.

제안 방법

• 입력 키워드에서 트라이 사전을 구축하며, 각 노드는 문자를 나타내고 종료 표시자(eot)는 표준화된 교체 값을 저장한다.
• 완전한 단어만 매칭되도록 단어 경계 마커(\b)를 사용하여 부분 문자열 매칭을 방지한다(예: 'Apple'이 'Pineapple'에서 매칭되지 않도록 한다).
• 입력 문서를 한 글자씩 단일 패ass 스캔하며, 트라이를 따라가서 완전한 키워드 매칭을 탐지한다.
• 키워드 검색의 경우 매칭된 모든 텀과 그 표준화된 형태를 수집하고, 교체의 경우 출력에서 매칭된 텀을 그 표준화된 형태로 대체한다.
• 모호하거나 겹치는 교체를 방지하기 위해 가장 긴 매칭을 우선순위로 한다(예: 'Machine Learning'은 'Machine'이나 'Learning'보다 우선한다).
• 알고리즘을 파이썬으로 구현하고 MIT 라이선스 하에 오픈소스로 배포한다.

실험 결과

연구 질문

• RQ1 단일 문서에서 대량의 키워드를 검색할 때 FlashText의 성능이 정규식과 비교해 어떻게 되는가?
• RQ2 키워드 수가 증가함에 따라 FlashText는 일정한 시간 성능을 유지할 수 있는가? 반면 정규식은 키워드 수에 비례해 성능이 떨어지므로.
• RQ3 FlashText는 잘못된 매칭(예: 'Apple'이 'Pineapple'에서 매칭되는 등) 없이 올바르게 단어 경계 조건과 가장 긴 매칭 우선순위를 처리할 수 있는가?
• RQ4 대규모 문서 처리 워크플로우에서 FlashText가 정규식 대비 실제 성능 향상은 어느 정도인가?
• RQ5 FlashText는 정보 검색 워크로드에서 키워드 추출과 교체 모두에 효율적으로 사용될 수 있는가?

주요 결과

• 10,000단어 문서에서 15,000개의 키워드 검색 시 FlashText는 정규식의 0.165초에서 0.002초로 성능을 82배 향상시켰다.
• FlashText의 시간 복잡도는 문서 길이 N에 대해 O(N)이며, 키워드 수에 관계없이 독립적이므로 매우 확장 가능하다.
• 정규식의 성능은 키워드 수에 비례해 선형 증가하지만, FlashText는 키워드 집합 크기와 관계없이 거의 일정한 런타임을 유지한다.
• 알고리즘은 올바르게 단어 경계를 처리하여 완전한 단어만 매칭되도록 하며, 'Apple'이 'Pineapple'에서 매칭되는 등의 잘못된 매칭을 방지한다.
• 키워드 교체 작업에서 FlashText는 동일한 벤치마크에서 정규식 대비 최대 82배 빠른 성능을 보였으며, 키워드 집합 크기가 증가함에 따라 일관된 성능을 유지한다.
• 오픈소스로 제공되는 FlashText 구현체는 이력서 파싱, 동의어 정규화, 데이터 중복 제거 등의 애플리케이션에서 효율적이고 생산 환경에서 사용 가능한 키워드 처리를 가능하게 한다.