[논문 리뷰] Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition

Atsushi Fujii, Itou, Katunobu외 1명|ArXiv.org|2002. 06. 24.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 통계적 언어 모델을 대상 정보 검색(IR) 컬렉션에 맞추어 적응시켜 음성 인식과 텍스트 검색을 통합함으로써 음성 인식 정확도와 검색 성능을 크게 향상시킨다. 도메인 특화 IR 컬렉션을 활용해 언어 모델를 보정함으로써 단어 오류율과 용어 오류율을 감소시키며, 음성 기반 쿼리에서 텍스트 대 텍스트 검색 성능의 최대 80%에 도달한다.

ABSTRACT

Speech recognition has of late become a practical technology for real world applications. Aiming at speech-driven text retrieval, which facilitates retrieving information with spoken queries, we propose a method to integrate speech recognition and retrieval methods. Since users speak contents related to a target collection, we adapt statistical language models used for speech recognition based on the target collection, so as to improve both the recognition and retrieval accuracy. Experiments using existing test collections combined with dictated queries showed the effectiveness of our method.

연구 동기 및 목표

• 음성 기반 텍스트 검색에서 언어 모델의 불일치로 인한 낮은 음성 인식 정확도를 해결하기 위해.
• 대상 IR 컬렉션을 사용해 언어 모델를 적응시키는 것이 음성 인식 및 검색 성능 향상에 기여하는지 조사하기 위해.
• 도메인 특화 언어 모델링을 활용해 음성 쿼리의 단어 오류율(WER)과 용어 오류율(TER)을 감소시키기 위해.
• NTCIR-1 및 NTCIR-2와 같은 실제 테스트 컬렉션을 사용해 언어 모델 적응의 효과를 평가하기 위해.
• 상위 랭크 문서를 활용한 온라인 적응을 통해 검색 결과를 더욱 정교화할 잠재력을 탐색하기 위해.

제안 방법

• 시스템은 두 단계 검색 아키텍처를 사용한다: 먼저 전체 대상 IR 컬렉션을 사용해 오프라인으로 언어 모델를 적응시켜 음성 인식 정확도를 향상시킨다.
• 음성 인식 모듈은 오프라인 음향 모델과 대상 컬렉션에서 유도된 온라인 적응 언어 모델을 결합한다.
• 온라인 적응을 위해 초기 검색에서 상위 랭크 문서를 사용해 국소 언어 모델을 생성하며, 이는 인식 및 검색 과정을 정교화한다.
• 표준 통계적 언어 모델링 기법을 사용하며, 모델 적응은 대상 컬렉션에서 유도된 n-gram 확률 기반으로 이루어진다.
• 시스템은 NTCIR 테스트 컬렉션의 음성 입력 쿼리에 대해 평균 정밀도(AP), 단어 오류율(WER), 용어 오류율(TER)을 사용해 성능을 평가한다.
• 이 방법은 음성 인식 및 텍스트 검색 모듈을 통합하며, 첫 번째 단계의 출력을 두 번째 단계의 반복적 정밀화를 위한 입력으로 사용하는 이중 단계 검색 파이프라인을 구성한다.

실험 결과

연구 질문

• RQ1 대상 IR 컬렉션에 통계적 언어 모델를 적응시키는 것이 음성 기반 텍스트 검색에서 음성 인식 정확도 향상에 기여하는가?
• RQ2 도메인 특화 컬렉션을 기반으로 한 언어 모델 적응이 단어 오류율(WER)과 용어 오류율(TER)을 감소시키는가?
• RQ3 적응된 언어 모델를 사용할 때 음성 기반 검색의 성능은 텍스트 대 텍스트 검색과 비교해 어떻게 되는가?
• RQ4 상위 랭크 문서를 활용한 온라인 적응이 검색 정확도 향상에 얼마나 기여하는가?
• RQ5 언어 모델 적응의 효과는 다양한 화자 및 쿼리 유형 간에 일관된가?

주요 결과

• NTCIR 기반 언어 모델은 신문 기반 모델 대비 15–20%의 단어 오류율(WER) 감소와 10–20%의 용어 오류율(TER) 감소를 기록했다.
• NTCIR 기반 언어 모델를 사용할 경우 음성 기반 쿼리의 최고 검색 성능은 텍스트 대 텍스트 검색의 평균 정밀도(AP)의 80%에 도달했다.
• 모든 테스트 조건에서 화자 성별에 관계없이 신문 기반 언어 모델보다 유의미하게 뛰어난 성능을 보였다.
• 용어 오류율(TER)은 항상 단어 오류율(WER)보다 높았으며, 이는 쿼리의 핵심 어휘가 기능어보다 더 자주 잘못 인식됨을 시사한다.
• 보편어 목록 외 단어 문제(OOV)는 특히 핵심 쿼리 어휘가 잘못 인식될 경우 인식 오류의 주요 원인이었다.
• 재현율-정밀도 곡선은 NTCIR 기반 모델이 모든 재현율 수준에서 신문 기반 모델을 일관되게 뛰어넘었다고 확인했다.