[논문 리뷰] The Speech-Language Interface in the Spoken Language Translator

David M. Carter, Manny Rayner|ArXiv.org|1994. 11. 23.

Natural Language Processing Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 ATIS 도메인에서 번역 정확도를 향상시키기 위해 음성 인식기 출력을 지능적으로 처리하는 음성-언어 인터페이스를 제시한다. 수리 탐지, 문법 특화, 통합 음성-구문-의미 스코어링을 사용하여 최적의 의미 구조를 선택하며, 음성적으로 유사한 가설이 항상 언어적으로 타당하거나 번역에 바람직하지 않음을 입증한다.

ABSTRACT

The Spoken Language Translator is a prototype for practically useful systems capable of translating continuous spoken language within restricted domains. The prototype system translates air travel (ATIS) queries from spoken English to spoken Swedish and to French. It is constructed, with as few modifications as possible, from existing pieces of speech and language processing software. The speech recognizer and language understander are connected by a fairly conventional pipelined N-best interface. This paper focuses on the ways in which the language processor makes intelligent use of the sentence hypotheses delivered by the recognizer. These ways include (1) producing modified hypotheses to reflect the possible presence of repairs in the uttered word sequence; (2) fast parsing with a version of the grammar automatically specialized to the more frequent constructions in the training corpus; and (3) allowing syntactic and semantic factors to interact with acoustic ones in the choice of a meaning structure for translation, so that the acoustically preferred hypothesis is not always selected even if it is within linguistic coverage.

연구 동기 및 목표

• 제한된 도메인(예: 항공 여정, ATIS)에서 음성 번역을 향상시키는 견고한 음성-언어 인터페이스를 개발하는 것.
• 음성 인식 오류와 불순합성으로 인해 번역 품질에 영향을 미치는 음성 언어 이해 과제를 해결하는 것.
• 음성 신뢰도 점수에만 의존하는 것보다, 언어학적 요소와 음성 요소를 통합하여 가설 선택을 통해 번역 정확도를 향상시키는 것.
• 실시간 번역을 위한 파이프라인형 모듈식 시스템에서 기존 음성 및 언어 처리 컴포넌트를 재사용할 수 있음을 입증하는 것.

제안 방법

• 음성 인식기에서 출력된 다수의 후보 번역문을 처리하는 파이프라인형 N-best 인터페이스를 활용한다.
• 분석 전에 말하기에서 발생하는 불순합성(예: 잘못된 시작, 자기 수정)을 식별하고 수정하기 위한 수리 탐지 메커니즘을 적용한다.
• 학습 코퍼스에서 빈번한 구성에 맞게 자동으로 특화된 문법을 사용하여 일반적인 ATIS 쿼리에 대해 빠르고 효율적인 분석을 가능하게 한다.
• 구문, 의미, 음성 스코어를 통합된 순위 매기기 메커니즘에 통합하여, 음성적으로는 덜 유력하지만 의미적으로 더 타당한 의미 구조를 선택할 수 있도록 한다.
• 언어학적 타당성이 음성 선호도를 초월할 수 있도록 하여, 인식 오류로 인한 번역 품질 저하를 방지하는 하이브리드 스코어링 모델을 사용한다.
• 개발 오버헤드를 최소화하고 모듈성을 확보하기 위해 기존에 검증된 음성 및 언어 처리 소프트웨어 컴포넌트를 재사용한다.

실험 결과

연구 질문

• RQ1 말하기에서 발생하는 불순합성과 인식 오류를 번역 이전에 효과적으로 탐지하고 수정할 수 있는가?
• RQ2 문법 특화가 음성 언어 번역 시스템에서 분석 속도와 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 구문 및 의미와 같은 언어학적 요소가 최적의 번역 가설 선택에서 음성 신뢰도를 초월할 수 있는가?
• RQ4 실시간 음성 번역을 위해 음성 및 언어 처리 컴포넌트를 통합할 수 있는 모듈형 재사용 가능한 아키텍처를 어떻게 설계할 수 있는가?

주요 결과

• 시스템은 수리 탐지 기법을 통해 말하기에서 발생하는 불순합성을 효과적으로 탐지하고 제거하여 입력 가설의 언어학적 일관성을 향상시킨다.
• 학습 코퍼스 빈도 기반의 문법 특화가 일반적인 ATIS 쿼리에 대해 높은 커버리지 유지와 함께 분석 속도를 크게 향상시킨다.
• 구문 및 의미 요소를 음성 스코어와 통합함으로써, 음성적으로는 유력하지만 언어학적으로 타당하지 않은 가설을 거부할 수 있다.
• 최종 번역 품질이 향상되었으며, 이는 시스템이 항상 음성적으로 상위 순위의 가설을 선택하지는 않음을 보여주며, 언어학적 타당성이 가설 선택에서 핵심 요소임을 입증한다.
• 모듈형 설계 덕분에 기존 음성 및 언어 처리 컴포넌트를 재사용할 수 있어, 최소한의 재구현으로도 기능성 프로토타입을 구축할 수 있음을 검증한다.