[논문 리뷰] Adapting general-purpose speech recognition engine output for domain-specific natural language question answering

C. Anantaram, Sunil Kumar Kopparapu|arXiv (Cornell University)|2017. 10. 12.

Topic Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 일반 목적의 자동 음성 인식(gp-ASR) 출력에서 도메인 특화 오류를 수정하기 위해 진화적 발달(Evo-Devo) 및 기계 학습(ML)이라는 두 가지 후처리 방법을 제안한다. Evo-Devo 방법은 생물학적으로 영감을 받은 수리 규칙을 사용하여 도메인 용어를 수정하며, 89.3%의 정확도를 달성한다. 반면 ML 방법은 왼쪽/오른쪽 문맥, 고음/자음 집합 등의 특징 기반 분류를 사용하여 오류 탐지를 향상시켜 기준 대비 32.28%의 정확도 향상을 이룬다.

ABSTRACT

Speech-based natural language question-answering interfaces to enterprise systems are gaining a lot of attention. General-purpose speech engines can be integrated with NLP systems to provide such interfaces. Usually, general-purpose speech engines are trained on large `general' corpus. However, when such engines are used for specific domains, they may not recognize domain-specific words well, and may produce erroneous output. Further, the accent and the environmental conditions in which the speaker speaks a sentence may induce the speech engine to inaccurately recognize certain words. The subsequent natural language question-answering does not produce the requisite results as the question does not accurately represent what the speaker intended. Thus, the speech engine's output may need to be adapted for a domain before further natural language processing is carried out. We present two mechanisms for such an adaptation, one based on evolutionary development and the other based on machine learning, and show how we can repair the speech-output to make the subsequent natural language question-answering better.

연구 동기 및 목표

• 기업 애플리케이션에서 도메인 특화 용어를 인식하는 데에 일반 목적의 ASR 엔진의 낮은 성능을 해결하기 위해.
• 후속 자연어 질의 응답(NLP) 정확도를 떨어뜨리는 ASR 출력의 오류를 감소시키기 위해.
• 각 새로운 도메인에 대해 재학습 없이도 영구적으로 적용 가능한 유연하고 재사용 가능한 gp-ASR 출력 적응 방법을 제공하기 위해.
• 진화적 발달(Evo-Devo, 생물학적으로 영감을 받은 수리)과 오류가 발생한 ASR 출력에 대한 기계 학습 기반 분류라는 두 가지 다른 적응 메커니즘을 평가하기 위해.
• 후처리 ASR 보정이 실제 기업 환경의 질문 응답 시스템 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• Evo-Devo 메커니즘은 ASR 출력을 생물학적 실체로 간주하고, 반복적인 변형과 적합도 평가를 통해 도메인 용어를 수정하는 수리 규칙을 적용한다.
• 이 방법은 수정된 문장이 기대되는 도메인 특화 언어 패턴과 얼마나 잘 일치하는지 평가하기 위해 적합도 함수를 사용한다.
• ML 기반 방법은 $({{T^{ ext{'}}, T}})$ 쌍으로 학습된 분류기를 사용한다. 여기서 $T^{ ext{'}}$는 잘못된 ASR 출력이고 $T$는 참조 문장이다.
• 특징으로는 왼쪽/오른쪽 문맥, 단어 수, ASR 출력의 모음/자음 집합이 포함되며, 이는 오류 유형의 분류를 도와준다.
• 분류기는 성능 평가를 위해 10겹 교차 검증을 사용하며, 최대 정확도 향상을 위해 특징 조합을 최적화한다.
• 시스템은 인간이 레이블링한 오류 레이블을 학습 및 테스트에 사용하며, 주로 잘못 인식된 도메인 용어를 수정하는 데 집중한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 받은 진화적 발달 메커니즘이 엔터프라이즈 NLP 시스템의 ASR 출력에서 도메인 특화 오류를 효과적으로 보정할 수 있는가?
• RQ2 언어학적 및 문맥적 특징을 사용하여 기계 학습 분류기가 ASR 오류를 탐지하고 수정하는 데 얼마나 효과적인가?
• RQ3 어떤 특징 조합이 ASR 오류 보정의 분류 정확도 향상에 가장 높은 기여를 하는가?
• RQ4 ASR 모델을 재학습하지 않고도 후처리 ASR 적응이 후속 질문 응답 성능을 크게 향상시킬 수 있는가?
• RQ5 다양한 도메인 특화 오류 유형에 대해 두 적응 메커니즘이 정확도와 내구성 측면에서 어떻게 비교되는가?

주요 결과

• Evo-Devo 메커니즘은 테스트 세트에서 89.3%의 정확도를 달성하여 도메인 특화 용어 보정에서 뛰어난 성능을 보였다.
• ML 기반 방법은 자음 집합, 모음 집합, 왼쪽 문맥, 단어 수, 오른쪽 문맥의 특징 조합을 사용할 경우 기준 대비 32.28%의 분류 정확도 향상을 달성했다.
• Evo-Devo 방법은 도메인 용어에 대해 높은 정확도를 보였지만, 언어학적 용어를 수정하기 위해 정교한 규칙 설계가 필요하여 성능 저하를 방지해야 했다.
• ML 접근법은 문맥적 및 음성적 특징을 활용하여 잘못 인식된 단어를 식별하고 수정함으로써 기준 방법을 초월했다.
• 두 메커니즘 모두 ASR 출력 품질을 크게 향상시켜 엔터프라이즈 시스템에서 더 정확한 후속 자연어 질문 응답을 가능하게 했다.
• 결과는 후처리 ASR 보정이 일반 목적의 ASR을 도메인 특화 기업 애플리케이션에 적응시키는 데 실현 가능하고 효과적인 전략임을 확인시켰다.