[논문 리뷰] Learning to retrieve out-of-vocabulary words in speech recognition

Imran Sheikh, Irina Illina외 2명|arXiv (Cornell University)|2015. 11. 17.

Natural Language Processing Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 대화식 음성 인식에서 품사 외(Out-of-Vocabulary, OOV) 고유명사(PN)를 회복하는 데 있어 LVCSR 번역에서의 의미적 맥락을 활용함으로써 성능을 향상시키는 두 가지 신경망 모델—D-CBOW 및 D-CBOW2—을 제안한다. D-CBOW2 모델은 입력 단어에 대한 동적 가중치를 할당하는 맥락 앵커 레이어를 도입하여 작업에 특화된 핵심어에 더 집중하도록 한다. 프랑스 방송 뉴스 데이터를 대상으로 한 실험 결과, 이 모델들은 LDA, 스킵그램, 문단 벡터 기반 모델보다 우수한 성능을 보였으며, D-CBOW2+는 상위 8개의 OOV PN을 활용하여 F1 스코어 0.34를 기록하였다.

ABSTRACT

Many Proper Names (PNs) are Out-Of-Vocabulary (OOV) words for speech recognition systems used to process diachronic audio data. To help recovery of the PNs missed by the system, relevant OOV PNs can be retrieved out of the many OOVs by exploiting semantic context of the spoken content. In this paper, we propose two neural network models targeted to retrieve OOV PNs relevant to an audio document: (a) Document level Continuous Bag of Words (D-CBOW), (b) Document level Continuous Bag of Weighted Words (D-CBOW2). Both these models take document words as input and learn with an objective to maximise the retrieval of co-occurring OOV PNs. With the D-CBOW2 model we propose a new approach in which the input embedding layer is augmented with a context anchor layer. This layer learns to assign importance to input words and has the ability to capture (task specific) key-words in a bag-of-word neural network model. With experiments on French broadcast news videos we show that these two models outperform the baseline methods based on raw embeddings from LDA, Skip-gram and Paragraph Vectors. Combining the D-CBOW and D-CBOW2 models gives faster convergence during training.

연구 동기 및 목표

• 대규모 연속 음성 인식(LVCSR) 시스템에서 어휘 외 고유명사(PN)를 회복하는 문제를 다루며, 특히 방송 뉴스와 같은 역사적 음성 자료에서의 어려움을 해결한다.
• 빈도, 최근성, 고정된 토픽 모델에 의존하는 전통적 방법의 한계를 극복하며, 희귀하거나 새로운 고유명사에 대해 어려움을 겪는 문제를 해결한다.
• LVCSR 번역에서의 의미적 맥락을 활용하여, 주어진 음성 문서에 관련된 OOV 고유명사를 학습하여 회복할 수 있는 신경망 모델을 개발한다.
• D-CBOW2에 맥락 앵커 레이어를 도입하여 입력 단어에 동적 중요도를 할당함으로써 작업에 특화된 핵심어를 더 잘 식별할 수 있도록 한다.
• LVCSR 라티스에서의 자동 키워드 검색(KWS)과 결합한 회수 방법을 통해 OOV PN 회수 성능을 향상시키며, 음운 일치를 위한 F1 스코어를 최적화한다.

제안 방법

• 학습된 스킵그램 단어 임베딩을 사용하여 어휘 내(IV) 단어와 알려진 고유명사에 대해 문서 수준의 연속 백의 단어(D-CBOW) 및 D-CBOW2 모델을 학습한다.
• LVCSR 번역을 입력으로 사용하여 음성 문서를 IV 단어, 고유명사, OOV 고유명사 간의 관계를 포착하는 맥락 벡터 공간으로 매핑한다.
• D-CBOW2에서는 입력 단어에 대한 주의 가중치를 학습하는 맥락 앵커 레이어를 도입하여, OOV 고유명사 회수에 관련된 핵심어에 초점을 맞출 수 있도록 한다.
• 모델을 최적화하기 위해, 동일한 문서에 함께 나타나는 목표 OOV 고유명사를 최대한으로 회수하는 손실 함수를 사용한다.
• D-CBOW 및 D-CBOW2의 맥락 벡터를 융합하여 D-CBOW2+ 모델을 구성함으로써 학습 수렴 속도를 가속화하고 성능을 향상시킨다.
• OOV 고유명사 회수를 두 단계로 수행한다: 먼저 모델을 사용해 후보 OOV 고유명사 목록을 추출하고, 그 다음 LVCSR 라티스에서 음운 기반 키워드 검색(KWS)을 적용하여 음성 내에서 OOV 고유명사를 탐지한다.

실험 결과

연구 질문

• RQ1 신경망 기반 맥락 모델이 LDA, 스킵그램, 문단 벡터 기반 모델보다 LVCSR 번역에서 OOV 고유명사를 회수하는 데 더 우수한 성능을 보일 수 있는가?
• RQ2 입력 단어에 동적 중요도를 할당하는 맥락 앵커 레이어를 도입함으로써 OOV 고유명사 회수의 정확성과 강건성이 향상되는가?
• RQ3 다양한 수의 상위-N 후보 OOV 고유명사를 추출하고 이후 키워드 검색에 사용할 경우, OOV 고유명사 회수 성능는 어떻게 변화하는가?
• RQ4 D-CBOW와 D-CBOW2를 융합한 D-CBOW2+ 모델은 학습 수렴 속도와 최종 회수 성능를 얼마나 향상시키는가?
• RQ5 LVCSR 번역에서의 단어 인식 오류가 D-CBOW2와 같은 주의 기반 모델에 미치는 영향은 D-CBOW와 같은 평균 기반 모델보다 더 심각한가?

주요 결과

• D-CBOW2 모델은 프랑스 방송 뉴스 영상에서 OOV 고유명사를 회수하는 데 있어 LDA, 스킵그램, 문단 벡터 기반 모델을 모두 능가하는 성능을 보였다.
• D-CBOW2 모델은 번역에서 'maïdan', 'kiew'와 같은 핵심어를 성공적으로 식별하고 강조하여, 이러한 어휘가 존재할 경우 정밀도가 향상됨을 확인하였다.
• LVCSR 번역에서 단어 오류가 발생할 경우(예: 'maïdan' 대신 'parti'), D-CBOW2 모델은 특정 핵심어에 의존하기 때문에 성능이 저하되는 반면, D-CBOW 모델은 평균화 방식 덕분에 더 강건한 성능 유지를 보였다.
• D-CBOW와 D-CBOW2의 출력을 융합한 D-CBOW2+ 모델은 학습 수렴 속도가 빨라지고, 개별 모델보다 더 뛰어난 성능을 기록하였다.
• OOV 고유명사 회수의 최고 F1 스코어는 0.34였으며, 이는 D-CBOW 및 D-CBOW2+ 모델이 상위 8개의 OOV 고유명사를 추출한 경우에 달성되었다. 정밀도는 D-CBOW 기준 0.38, D-CBOW2+ 기준 0.42였고, 재현율은 각각 0.30과 0.29였다.