[논문 리뷰] An Accurate Arabic Root-Based Lemmatizer for Information Retrieval Purposes

Tarek El‐Shishtawy, Fatma El-Ghannam|arXiv (Cornell University)|2012. 03. 15.

Advanced Text Analysis Techniques참고 문헌 20인용 수 24

한 줄 요약

이 논문은 정보 검색에서 정확도를 향상시키기 위해 언어학적 지식 자원을 활용하는 비통계적, 루트 기반의 아랍어 어간 추출기(lemmatizer)를 제시한다. 이는 품사 태깅에서 94.8%의 정확도를 기록했으며, OOV 문서에서 어간 추출 정확도는 89.15%를 달성하여 스탠퍼드 모델을 12.45%포인트 뛰어넘었다.

ABSTRACT

In spite of its robust syntax, semantic cohesion, and less ambiguity, lemma level analysis and generation does not yet focused in Arabic NLP literatures. In the current research, we propose the first non-statistical accurate Arabic lemmatizer algorithm that is suitable for information retrieval (IR) systems. The proposed lemmatizer makes use of different Arabic language knowledge resources to generate accurate lemma form and its relevant features that support IR purposes. As a POS tagger, the experimental results show that, the proposed algorithm achieves a maximum accuracy of 94.8%. For first seen documents, an accuracy of 89.15% is achieved, compared to 76.7% of up to date Stanford accurate Arabic model, for the same, dataset.

연구 동기 및 목표

• 아랍어 자연어 처리 분야에서 어간 수준 분석에 대한 부족함을 보완하기 위해.
• 정보 검색 시스템에 특화된 비통계적이고 정확한 어간 추출기를 개발하기 위해.
• 강건한 어간 생성과 특징 추출을 위해 아랍어 언어학적 지식 자원을 통합하기 위해.
• 아랍어 정보 검색에서 주요 과제인 어휘 외 문서(OOV 문서)에서의 성능 향상하기 위해.
• 기존 최첨단 모델, 특히 미리 보지 않은 테스트 데이터에서의 성능을 뛰어넘기 위해.

제안 방법

• 어간 추출기는 아랍어 루트 형태론과 어형 구조에 기반한 규칙 기반 접근 방식을 사용한다.
• 변형된 형태를 기본 어간으로 매핑하기 위해 루트 사전과 어형 패턴 템플릿과 같은 형태론적 자원을 활용한다.
• 어간 할당을 안내하기 위해 품사 태깅(POS tagging)을 전처리 단계로 통합한다.
• 동음이의어를 해소하고 모호한 형태를 해결하기 위해 문법적 및 파생 규칙을 적용한다.
• 어간의 정확한 결정을 위해 단어 길이, 접두사 및 접미사, 루트 패턴을 기반으로 계층적인 의사결정 프로세스를 사용한다.
• 정보 검색 작업을 지원하기 위해 동사 시제, 명사 격조사, 성별 등의 특징을 추출한다.

실험 결과

연구 질문

• RQ1 비통계적, 규칙 기반 어간 추출기가 아랍어 어간 생성에서 통계 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 정보 검색에서 흔한 어휘 외 문서(OOV 문서)에서 시스템의 성능은 어떠한가?
• RQ3 언어학적 지식 자원 통합이 어간 정확도에 어느 정도 기여하는가?
• RQ4 루트 기반 어간 추출이 아랍어 어형의 모호성을 효과적으로 줄일 수 있는가?
• RQ5 제안된 어간 추출기는 스탠퍼드 아랍어 NLP 시스템과 같은 최첨단 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 어간 추출기는 품사 태깅에서 최대 94.8%의 정확도를 달성한다.
• 어휘 외 문서에서 시스템은 89.15%의 어간 추출 정확도를 기록했으며, 이는 스탠퍼드 모델의 76.7%를 크게 뛰어넘는 성과이다.
• 규칙 기반 접근 방식은 통계 모델에 비해 새로운 데이터에서 더 뛰어난 일반화 성능을 보였다.
• 루트 사전과 어형 패턴과 같은 언어학적 자원 통합이 정확도와 내구성을 향상시켰다.
• 형태론적 및 문법적 규칙을 통해 아랍어 어형의 모호성이 효과적으로 감소되었다.
• 결과는 비통계적, 지식 기반 어간 추출이 아랍어 정보 검색 응용 분야에서 실현 가능하고 효과적이라는 것을 확인시켰다.