[논문 리뷰] Learning string edit distance

Eric Sven Ristad, P.N. Yianilos|ArXiv.org|1996. 10. 29.

Algorithms and Data Compression참고 문헌 24인용 수 27

한 줄 요약

이 논문은 예시 문자열 쌍 코퍼스로부터 문자열 편집 거리를 학습하기 위한 확률적 모델을 제안하며, 편집 비용의 자동 최적화를 가능하게 한다. 문자열 변환을 확률적 전이로 모델링하고 EM 기반 학습을 사용함으로써, Switchboard 코퍼스에서 발음 모델링 작업에서 수동으로 설정하지 않은 Levenshtein 거리 대비 오류율을 75% 감소시킨다.

ABSTRACT

In many applications, it is necessary to determine the similarity of two strings. A widely-used notion of string similarity is the edit distance: the minimum number of insertions, deletions, and substitutions required to transform one string into the other. In this report, we provide a stochastic model for string edit distance. Our stochastic model allows us to learn a string edit distance function from a corpus of examples. We illustrate the utility of our approach by applying it to the difficult problem of learning the pronunciation of words in conversational speech. In this application, we learn a string edit distance with one fourth the error rate of the untrained Levenshtein distance. Our approach is applicable to any string classification problem that may be solved using a similarity function against a database of labeled prototypes. Keywords: string edit distance, Levenshtein distance, stochastic transduction, syntactic pattern recognition, prototype dictionary, spelling correction, string correction, string similarity, string classification, speech recognition, pronunciation modeling, Switchboard corpus.

연구 동기 및 목표

• 고정된 비용을 가지는 편집 거리의 한계를 극복하고, 문자열 쌍 코퍼스로부터 자동으로 문자열 편집 거리를 학습하는 방법을 개발한다.
• 표준 편집 거리가 일관되지 않은 청음 철자로 인해 실패하는 대화형 음성에서의 발음 변동을 모델링하는 과제를 해결한다.
• 학습 코퍼스의 통계적 특성에 적응하는 거리 함수를 학습함으로써 문자열 분류 성능을 향상시킨다.
• 패턴 인식 분야에 실제 음성 인식 작업에 적용된 실용적 사례를 통해 확률적 모델링의 유용성을 입증한다.
• 데이터로부터 단어 및 어휘 항목 확률을 함께 학습함으로써 고정 또는 균일한 모델 대비 인식 정확도를 크게 향상시킬 수 있음을 보여준다.

제안 방법

• 편집 연산(치환, 삭제, 삽입, 종료)에 대한 확률 함수 δ를 사용하여 메모리 없는 확률적 전이로 문자열 편집 거리를 모델링한다.
• 기저 문자열(x^t), 표면 문자열(y^v), 단어 식별자(w)에 대한 결합 확률 모델을 정의하며, p(x^t, y^v, w | L) = p(w|L) * p(x^t|w,L) * p(y^v|x^t,L)로 표현한다.
• 학습 코퍼스로부터 단어 모델 p(w|L), 어휘 항목 모델 p(x^t|w,L), 표면 모델 p(y^v|x^t,L)의 매개변수를 함께 추정하기 위해 기대값 최대화(EM) 알고리즘을 적용한다.
• 추론 과정에서 주어진 표면 문자열에 대해 가장 가능성 있는 기저 문자열을 도출하기 위해 비터비 알고리즘을 사용함으로써 문자열 분류를 가능하게 한다.
• EM 최적화된 확률에서 유도된 비용 매개변수를 사용하여 관측된 문자열 쌍의 가능도를 최대화함으로써 편집 비용을 학습한다.
• 부록 B에 제시된 대안적 공식을 통해 문자열 길이 조건을 적용함으로써 길이 민감한 응용 분야에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 손으로 수작업한 비용 없이도, 예시 문자열 쌍 코퍼스로부터 의미 있는 문자열 편집 거리를 확률적 모델이 직접 학습할 수 있는가?
• RQ2 단어 모델 p(w|L)과 어휘 항목 모델 p(x^t|w,L)를 함께 적응시킬 경우, 노이즈가 많거나 변동성이 큰 문자열 데이터에서 문자열 분류 정확도는 얼마나 향상되는가?
• RQ3 실제 응용 분야, 예를 들어 음성 인식에서, 학습된 확률적 편집 거리가 기존 Levenshtein 거리보다 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 숨겨진 기저 문자열을 통해 표면 형태의 국소 외 의존성을 모델링할 경우, 고정 또는 국소 범위 모델 대비 어떤 영향을 미치는가?
• RQ5 단어 모델, 어휘 항목 모델, 표면 모델 등 다수의 확률적 모델이 상호 보완적으로 적응할 경우, 개별 적응보다 성능 향상이 두드러지는가?

주요 결과

• 학습된 확률적 편집 거리는 Switchboard 발음 인식 작업에서 수동으로 설정하지 않은 Levenshtein 거리 대비 오류율을 75% 감소시킨다.
• 단어 모델 p(w|L)과 어휘 항목 모델 p(x^t|w,L)를 함께 적응시킬 경우 상호보완적 향상이 발생하여, 고정 모델 대비 오류율을 5~6배까지 감소시킨다.
• 단어 모델만 적응시킬 경우 오류율이 거의 반으로 줄며, 어휘 항목 모델만 적응시킬 경우도 오류율이 거의 반으로 줄지만, 두 모델을 결합하면 기대 이상의 크게 향상된 성능을 달성한다.
• 실험 E3에서, 오류율은 Levenshtein의 61.87%에서 두 모델을 모두 적응시킨 경우 14.28%로 감소하여, 공동 학습 프레임워크의 효과를 입증한다.
• 대화형 음성에서 문법적 어휘의 새로운 발음 방식을 인식하는 데서 85% 이상의 정확도를 달성하여 기존 기준 방법을 크게 뛰어넘는다.
• 이 방법은 전통적인 수작업 또는 유한 상태 모델을 초월하여 비국소적 의존성과 변동성이 있는 발음 방식을 포괄하는 더 풍부한 데이터 기반 발음 어휘를 가능하게 한다.