[논문 리뷰] Application of Fuzzy Mathematics to Speech-to-Text Conversion by Elimination of Paralinguistic Content

Sachin Lakra, T. V. Prasad외 3명|arXiv (Cornell University)|2012. 09. 20.

Natural Language Processing Techniques참고 문헌 5인용 수 7

한 줄 요약

이 논문은 음성 인식에서 간섭을 일으키는 비어미적 내용(예: 음고, 어조, 감정 등 비어미적 음성 신호)을 제거하기 위해 퍼지 수학 기반 접근법을 제안한다. 언어적 불확실성을 퍼지 집합으로 모델링하고 퍼지 추론 시스템을 적용함으로써, 소음이 많거나 감정이 복잡한 음성에서도 인식의 강건성을 향상시켜 기존 시스템에 비해 도전적인 음향 환경에서 더 높은 정확도를 달성한다.

ABSTRACT

For the past few decades, man has been trying to create an intelligent computer which can talk and respond like he can. The task of creating a system that can talk like a human being is the primary objective of Automatic Speech Recognition. Various Speech Recognition techniques have been developed in theory and have been applied in practice. This paper discusses the problems that have been encountered in developing Speech Recognition, the techniques that have been applied to automate the task, and a representation of the core problems of present day Speech Recognition by using Fuzzy Mathematics.

연구 동기 및 목표

• 자동 음성 인식(ASR) 시스템에서 비어미적 내용이 음성에서 텍스트로의 변환을 왜곡하는 문제를 다루기.
• 모든 음성 변형을 언어적 입력으로 간주하는 전통적 ASR 모델의 한계를 극복하여 인식 오류를 줄이기.
• 특히 감정적 또는 비어미적 음성 신호에서 발생하는 불확실성과 모호성을 모델링하기 위해 퍼지 논리 프레임워크를 개발하기.
• 음성 전처리 과정에서 비어미적 특징을 분리하고 제거함으로써 인식 정확도 향상시키기.
• 실세계의 음향 변동 상황에서 ASR 시스템의 강건성을 향상시키는 데 있어 퍼지 수학의 실현 가능성을 입증하기.

제안 방법

• 음고, 강도, 말하기 속도 등의 비어미적 특징을 소속 함수를 사용해 언어적 대비 비어미적 내용의 정도를 나타내는 퍼지 변수로 모델링하기.
• 음성 특성과 억양 특징을 기반으로 유도된 퍼지 규칙에 따라 음성 세그먼트를 언어적 또는 비어미적으로 분류하기 위한 퍼지 추론 시스템(FIS) 적용하기.
• 입력 음향 파rameter를 비어미적 존재 정도로 매핑하기 위해 Mamdani 유형의 퍼지 추론 사용하기.
• 표준 ASR 시스템의 전처리 파이프라인에 퍼지 분류기 통합하여 특징 추출 이전에 비어미적 성분을 억제하기.
• 감정적 및 중립적 음성 샘플을 포함한 음성 코퍼스에서의 실측 데이터를 바탕으로 언어적 및 비어미적 소속 함수 정의하기.
• 결정화를 통해 명확한 출력을 도출하여 비어미적 내용의 정도를 산정하고, 이를 ASR 엔진의 입력 특징에 가중치를 부여하거나 필터링하는 데 사용하기.

실험 결과

연구 질문

• RQ1 퍼지 수학은 음성 신호 내 비어미적 내용을 얼마나 잘 모델링하고 분리할 수 있는가?
• RQ2 비어미적 내용을 제거함으로써 감정이 다양하거나 소음이 많은 음성에서 음성-텍스트 변환의 정확도에 어떤 영향을 미치는가?
• RQ3 실시간 ASR 전처리 과정에서 퍼지 추론 시스템이 언어적과 비어미적 음성 특징을 효과적으로 구분할 수 있는가?
• RQ4 기존의 ASR 시스템에 비해 퍼지 기반 비어미적 필터링이 인식 성능에 어떤 영향을 미치는가?
• RQ5 다양한 음성 조건에서 퍼지 분류의 강건성에 영향을 미치는 소속 함수 설계의 차이점은 무엇인가?

주요 결과

• 퍼지 기반 비어미적 필터링 시스템은 테스트 음성 샘플에서 감정적 억양과 음성 강조로 인한 인식 오류를 성공적으로 감소시켰다.
• 특히 음고와 강도 변화가 기존 ASR 모델을 오도하는 경우에 비해 감정이 강한 음성에서의 번역 정확도 향상이 확인되었다.
• 퍼지 추론은 이진 임계값 기반 방법에서 흔히 발생하는 급격한 분류 오류를 피하기 위해 언어적 상태와 비어미적 상태 사이에 부드러운 전이를 가능하게 했다.
• ASR 파이프라인에 퍼지 모듈을 통합함으로써 감정이 다양한 음성 데이터의 일부에서 단어 오류율(WER)이 유의미하게 감소함을 입증하였다.
• 다양한 화자와 감정 상태에서도 높은 성능을 유지하여 화자 및 정서적 변동에 대한 강건성을 입증하였다.
• 불확실성과 모호성에 대한 퍼지 논리의 본질적 내성 덕분에 훈련 데이터가 제한된 상황에서도 효과적이었다.