[논문 리뷰] Build Fast and Accurate Lemmatization for Arabic

Hamdy Mubarak|arXiv (Cornell University)|2017. 10. 18.

Advanced Text Analysis Techniques참고 문헌 4인용 수 11

한 줄 요약

이 논문은 아랍어의 풍부한 파생어 형태를 고려하여 가장 빈도가 높은 음절 표기 형태를 활용해 어간 추출을 수행하는 빠르고 정확한 시스템을 제안한다. 이 시스템은 97.32%의 정확도를 달성하여 MADAMIRA보다 7% 높으며, 2분 이내로 740만 개의 단어를 처리하여 MADAMIRA보다 75배 빠르다. 저자들은 새로운 공개 테스트 데이터셋을 제공하고, 재현 가능성을 위해 자바 코드를 오픈소스로 공개한다.

ABSTRACT

In this paper we describe the complexity of building a lemmatizer for Arabic which has a rich and complex derivational morphology, and we discuss the need for a fast and accurate lammatization to enhance Arabic Information Retrieval (IR) results. We also introduce a new data set that can be used to test lemmatization accuracy, and an efficient lemmatization algorithm that outperforms state-of-the-art Arabic lemmatization in terms of accuracy and speed. We share the data set and the code for public.

연구 동기 및 목표

• 아랍어는 파생어 형태가 풍부한 언어이지만, 오픈소스이자 고정확도를 갖춘 어간 추출 도구가 부족한 문제를 해결하기 위해.
• 정확한 어간 수준 색인을 가능하게 하여 아랍어 정보 검색(IR)의 재현율과 정밀도를 향상시키기 위해.
• 기존 최고 수준의 도구보다 빠르고 정확한 어간 추출 시스템을 개발하기 위해.
• 재현 가능한 아랍어 NLP 연구를 위해 공개 가능한 고품질의 테스트 데이터셋과 오픈소스 코드를 제공하기 위해.

제안 방법

• 시스템은 코퍼스에서 각 단어의 가장 빈도가 높은 음절 표기 형태를 선택하고, 유사도 점수가 가장 높은 형태 분석과 매칭한다.
• 모든 가능한 음절 표기, 분할, 품사 태그, 어간을 생성하기 위해 버크월터 형태 분석기를 사용한다.
• 코퍼스와 버크월터 간의 음절 표기 모호성은 형태를 정렬하고 빈도 및 사용 빈도에 따라 어간 순서를 조정하여 해결한다.
• 복잡성을 줄이고 속도를 향상시키기 위해 문맥을 무시하고 가장 일반적인 음절 표기 형태를 우선순위로 정한다.
• 동일한 음절 표기지만 다른 어간을 가진 단어(예: 'syArp'가 'car' 또는 'walker'로 해석될 수 있음)에 대해서는 빈도 기반의 모호성 해소 기법을 적용한다.
• 외부 종속성이 없는 순수 자바 시스템으로 구현되어 있어 다른 NLP 파ip라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 기존 최고 수준의 도구인 MADAMIRA와 비교해 아랍어 어간 추출 시스템이 더 높은 정확도를 달성할 수 있는가?
• RQ2 고정확도를 유지하면서 기존 시스템보다 크게 빠른 어간 추출 시스템을 구현할 수 있는가?
• RQ3 문맥을 고려하지 않고 가장 빈도가 높은 음절 표기 형태를 어간 선택의 대체 수단으로 사용하는 것이 가능한가? 이 방법의 정확도는 어느 정도인가?
• RQ4 새로운 공개 테스트 데이터셋이 아랍어 어간 추출 연구의 재현성과 벤치마킹을 향상시킬 수 있는가?

주요 결과

• 제안된 어간 추출 시스템은 새로운 위키뉴스 테스트셋에서 97.32%의 정확도를 달성하여 MADAMIRA의 96.61%보다 7% 상대적 향상된 성능을 보였다.
• 시스템은 약 2분 내로 740만 개의 단어를 처리하여 MADAMIRA(동일 작업에 2.5시간 소요)보다 75배 빠르게 작동한다.
• 시스템 성능은 주로 동일한 철자로 표기되지만 다른 어간을 가진 명사 및 형용사에서 기인한 모호성으로 인해 제한된다. 예를 들어 'AkAdymyp'는 'academy' 또는 'academic'으로 해석될 수 있다.
• 저자들은 품사 태깅 오류와 외래어 표기 변형이 본 시스템과 MADAMIRA 양쪽 모두에서 오류의 주요 원인임을 확인했다.
• 7개 장르의 70개 아랍어 뉴스 기사에서 수집한 총 18,300개 단어로 구성된 데이터셋이 공개되어 아랍어 어간 추출 시스템의 표준화된 평가를 가능하게 한다.
• 외부 종속성이 없는 오픈소스 자바 코드가 공개되어 있어 기존 NLP 및 IR 파이프라인에 쉽게 통합할 수 있다.