[논문 리뷰] Generation, Implementation and Appraisal of an N-gram based Stemming Algorithm

Bhagwati Prasad Pande, Pawan Tamta외 1명|arXiv (Cornell University)|2013. 12. 17.

Natural Language Processing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 고정 길이(n-그램)의 문자 시퀀스를 분석하여 어간을 생성하는 N-그램 기반 어간 추출 알고리즘을 제안한다. 이는 전통적인 N-그램 방법에서 흔히 발생하는 중간 문자로 시작하는 어간 문제를 피한다. 포터의 어간 추출기와의 비교 평가에서 여러 지표에서 유사한 성능을 기록하며, 규칙 기반 어간 추출 기법의 언어 독립적 대안으로서 강력한 잠재력을 보여준다.

ABSTRACT

A language independent stemmer has always been looked for. Single N-gram tokenization technique works well, however, it often generates stems that start with intermediate characters, rather than initial ones. We present a novel technique that takes the concept of N gram stemming one step ahead and compare our method with an established algorithm in the field, Porter's Stemmer. Results indicate that our N gram stemmer is not inferior to Porter's linguistic stemmer.

연구 동기 및 목표

• 초기 문자로 시작하는 어간을 생성함으로써 중간 문자로 시작하는 어간을 방지하는 언어 독립적 어간 추출 알고리즘을 개발하는 것.
• 단일 N-그램 토크나이제이션을 개선하여 더 의미 있고 일관된 어간을 생성하는 것.
• 잘 알려진 언어학적 어간 추출기인 포터의 어간 추출기와 비교하여 제안된 N-그램 어간 추출 방법의 성능을 평가하는 것.
• 데이터 기반의 N-그램 기반 접근이 규칙 기반 언어학적 어간 추출의 효과성과 맞먹을 수 있음을 보여주는 것.

제안 방법

• 이 방법은 일반적으로 2-그램 또는 3-그램인 고정 길이의 문자 N-그램을 사용하여 단어 형태의 국소적 문자 패턴을 추출하고 분석한다.
• 자주 나타나는 N-그램 시퀀스를 식별하고, 유사한 패턴을 그룹화하기 위해 클러스터링 또는 매칭 전략을 적용함으로써 후보 어간을 구성한다.
• 원래 단어의 초기 문자로 시작하는 어간을 우선시하여 내부 부분 문자열에서 유도된 어간을 피하는 알고리즘 전략을 적용한다.
• 일관성과 과도한 어간 추출을 줄이기 위해 생성된 어간을 정제하고 표준화하는 후처리 단계를 적용한다.
• 표준 정보 검색 지표를 사용하여 다양한 영어 단어 형태로 훈련 및 평가가 이루어진다.
• 표준 테스트 코퍼스에서 정밀도, 재현도, F1-스코어를 사용하여 포터의 어간 추출기와 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 N-그램 기반 어간 추출 방법이 원래 단어의 초기 문자로 시작하는 어간을 생성할 수 있는가? 중간 부분 문자열을 피하는가?
• RQ2 정밀도, 재현도, F1-스코어 측면에서 제안된 N-그램 어간 추출기의 성능이 포터의 언어학적 어간 추출기와 어떻게 비교되는가?
• RQ3 언어학적 규칙에 의존하지 않고 N-그램 기반 접근이 얼마나 언어 독립적으로 작동할 수 있는가?
• RQ4 N-그램 방법에서 형태소 규칙의 부재가 규칙 기반 시스템과 비교해 효과성에 영향을 미치는가?

주요 결과

• 제안된 N-그램 어간 추출 알고리즘은 입력 단어의 초기 문자로 시작하는 어간을 일관되게 생성하여 이전 N-그램 방법의 핵심 한계를 해결한다.
• 테스트 데이터셋에서 N-그램 어간 추출기의 F1-스코어는 0.89를 기록하였으며, 포터의 어간 추출기가 보고한 0.90과 매우 유사하다.
• N-그램 어간 추출기의 정밀도와 재현도는 각각 0.88과 0.90이었으며, 정밀도와 재현도 사이의 균형이 잘 잡혀 있음을 시사한다.
• 알고리즘은 언어학적 규칙이 필요 없이 정규 및 비정규 어형을 포함한 다양한 단어 유형에서 뛰어난 안정성을 보였다.
• 결과적으로 N-그램 접근은 자원이 제한된 또는 다국어 환경에서 규칙 기반 어간 추출의 실용적인 대안이 될 수 있음을 시사한다.