[논문 리뷰] Search Using N-gram Technique Based Statistical Analysis for Knowledge Extraction in Case Based Reasoning Systems

M. N. Karthik, Moshe Davis|ArXiv.org|2004. 07. 02.

Data Mining Algorithms and Applications참고 문헌 3인용 수 6

한 줄 요약

이 논문은 사례 기반 추론(CBR) 시스템에서 사례 검색 정확도를 햖을 위해 어근과 발음 요소를 분석함으로써 일치 정확도를 향상시키는 n-gram 기반 통계적 방법을 제안한다. 어원적 하위범주에 대한 노이즈 감소 및 확률 분석을 적용함으로써, 사용자 정의 가능한 유사도 임계값을 통해 기반 사례에서 가장 관련성이 높은 사례를 식별하며, 최종적으로 전문가 시스템을 통해 결과를 검증한다.

ABSTRACT

Searching techniques for Case Based Reasoning systems involve extensive methods of elimination. In this paper, we look at a new method of arriving at the right solution by performing a series of transformations upon the data. These involve N-gram based comparison and deduction of the input data with the case data, using Morphemes and Phonemes as the deciding parameters. A similar technique for eliminating possible errors using a noise removal function is performed. The error tracking and elimination is performed through a statistical analysis of obtained data, where the entire data set is analyzed as sub-categories of various etymological derivatives. A probability analysis for the closest match is then performed, which yields the final expression. This final expression is referred to the Case Base. The output is redirected through an Expert System based on best possible match. The threshold for the match is customizable, and could be set by the Knowledge-Architect.

연구 동기 및 목표

• 사용자 입력 데이터의 노이즈를 줄이고 유사도 탐지 능력을 향상시킴으로써 사례 기반 추론(CBR) 시스템의 사례 검색 정확도를 향상시키는 것.
• 어근과 발음을 언어적 매개변수로 활용하여 사례 비교를 위한 통계적 프레임워크를 개발하는 것.
• 확률 기반 매칭을 통해 사용자 정의 가능한 유사도 임계값을 제공함으로써 지식 설계자가 유연성을 확보할 수 있도록 하는 것.
• 어원적 파생어의 통계적 분석을 통한 노이즈 제거 기능을 구현하여 오류를 추적하고 제거하는 것.
• 입력 데이터를 하위범주화된 언어적 요소로 변환함으로써 지식 추출을 간소화하고 효율적인 매칭을 지원하는 것.

제안 방법

• 입력 데이터와 사례 데이터를 겹치는 문자 조합으로 분해하기 위해 n-gram 분석을 적용하여 언어적 비교를 수행한다.
• 유사도 평가를 위해 어근과 발음을 의사결정 매개변수로 사용한다.
• 비교 이전에 입력 데이터의 잠재적 오류를 제거하기 위해 노이즈 제거 기능을 적용한다.
• 전체 데이터셋을 어원적 파생어의 하위범주로 분석하여 통계적 오류 추적을 지원한다.
• 확률 분석을 통해 가장 가까운 매칭의 가능성 확률을 계산하고, 이를 기반으로 최종 사례베이스를 구성한다.
• 사용자 정의 가능한 임계값을 활용한 전문가 시스템을 통해 출력 결과를 검증하고 정제한다.

실험 결과

연구 질문

• RQ1 n-gram 기반 통계적 분석은 CBR 시스템에서 사례 검색 정밀도를 어떻게 향상시킬 수 있는가?
• RQ2 어근과 발음은 입력 데이터와 사례 데이터 간의 유사도 탐지 능력 향상에 어떤 역할을 하는가?
• RQ3 어원적 하위범주에 대한 통계적 분석을 통한 노이즈 제거 기능은 잘못된 매칭을 얼마나 효과적으로 줄일 수 있는가?
• RQ4 확률 기반 매칭은 사례베이스 선택의 신뢰성 향상에 어느 정도 기여하는가?
• RQ5 매칭 과정에서 사용자 정의 가능한 임계값은 다양한 지식 영역에 대한 시스템 적응성에 어떻게 영향을 미치는가?

주요 결과

• n-gram 기반 방법은 어근과 발음과 같은 언어적 구성요소에 초점을 맞춤으로써 사례 검색 정확도를 크게 향상시킨다.
• 어원적 파생어의 통계적 분석을 통한 노이즈 제거 기능은 보다 신뢰성 있고 일관된 매칭 결과를 도출한다.
• 확률 기반 매칭 메커니즘은 유사도의 정량적 측정 기준을 제공하여 사례 선택의 의사결정 신뢰도를 향상시킨다.
• 사용자 정의 가능한 임계값을 갖는 전문가 시스템의 통합은 도메인별 맞춤형 정밀도 조정을 가능하게 한다.
• 이 방법은 통계적 및 언어적 분석을 통해 원시 입력 데이터를 정제된 사례베이스로 변환하는 체계적인 접근을 보여준다.
• 시스템은 데이터를 하위범주화된 언어 단위로 간주함으로써 지식 추출을 향상시키고 검색의 강건성을 증가시킨다.