[논문 리뷰] End-to-end named entity extraction from speech

Sahar Ghannay, Antoine Caubrière외 3명|arXiv (Cornell University)|2018. 05. 30.

Topic Modeling참고 문헌 20인용 수 19

한 줄 요약

이 논문은 원시 음성에서 동시에 음성 인식(ASR)과 명명된 실체 인식(NER)을 수행하는 엔드 투 엔드 신경망 아키텍처를 제안한다. 특수 토큰을 사용해 실체 경계와 유형을 표시하는 수정된 Deep Speech 2 모델과 문자 수준의 CTC 디코딩을 활용하며, 테스트 데이터에서 F-측정치 0.69를 기록하여 전통적인 파이프라인 방법(0.65)을 능가한다. 이는 실체 유형 탐지에서의 성능 향상을 의미한다.

ABSTRACT

Named entity recognition (NER) is among SLU tasks that usually extract semantic information from textual documents. Until now, NER from speech is made through a pipeline process that consists in processing first an automatic speech recognition (ASR) on the audio and then processing a NER on the ASR outputs. Such approach has some disadvantages (error propagation, metric to tune ASR systems sub-optimal in regards to the final task, reduced space search at the ASR output level...) and it is known that more integrated approaches outperform sequential ones, when they can be applied. In this paper, we present a first study of end-to-end approach that directly extracts named entities from speech, though a unique neural architecture. On a such way, a joint optimization is able for both ASR and NER. Experiments are carried on French data easily accessible, composed of data distributed in several evaluation campaign. Experimental results show that this end-to-end approach provides better results (F-measure=0.69 on test data) than a classical pipeline approach to detect named entity categories (F-measure=0.65).

연구 동기 및 목표

• 기존의 파이프라인 ASR-NER 시스템에서 발생하는 오류 전파와 최적화되지 않은 메트릭 일치 문제를 해결하기 위해 두 작업을 하나의 신경망 아키텍처에 통합한다.
• 번역 오류가 발생하기 쉬운 ASR 출력에 적용되는 룰 기반 및 머신러닝 기반 NER 시스템의 한계를 극복한다.
• 중간 텍스트 변환을 생략하고 직접 음성에서 실체로의 매핑을 위한 엔드 투 엔드 학습의 가능성을 탐색한다.
• 다중 작업 학습(ASR + NER)과 자동으로 애너테이션된 ASR 출력을 활용한 데이터 증강을 통해 강인성과 성능을 향상시킨다.
• 품사 태깅과 같은 언어학적 특징 및 전용 학습 모드(예: '스타 모드')가 NER 성능에 미치는 영향을 조사한다.

제안 방법

• 명명된 실체 카테고리(예: [PER], [LOC], [ORG])와 경계를 표시하는 특수 토큰을 포함한 수정된 문자 집합을 사용해 Deep Speech 2 엔드 투 엔드 ASR 모델을 적응시킨다.
• 원시 음성에서 문자 시퀀스(실체 태그 포함)를 직접 예측하기 위해 연결주의적 시간 분류(CTC) 손실을 사용해 모델을 훈련한다.
• 공유된 표현 학습을 가능하게 하기 위해 훈련 중에 ASR 및 NER 목표를 함께 최적화하는 다중 작업 학습을 구현한다.
• 사전에 훈련된 NER 시스템(NeuroNLP2)을 사용해 ASR 전사문에 실체를 자동으로 레이블링하여 합성 훈련 데이터를 생성함으로써 데이터 증강을 적용한다.
• 학습 중에 실체 예측에 주의를 집중시키기 위해 '스타 모드'를 도입하여 모델의 집중도를 향상시킨다.
• NER 추론을 위해 양방향 LSTM(BLSTM)과 CNN 및 CRF 레이어를 사용하며, 성능 향상을 위해 품사 태깅을 언어학적 특징으로 통합한다.

실험 결과

연구 질문

• RQ1 원시 음성에서 음성 인식과 명명된 실체 인식을 동시에 학습할 수 있는 엔드 투 엔드 신경망 아키텍처가 기존의 파이프라인 시스템을 능가할 수 있는가?
• RQ2 ASR와 NER를 함께 훈련하는 다중 작업 학습이 별도 훈련과 비교해 실체 탐지 성능에 어떤 영향을 미치는가?
• RQ3 자동으로 애너테이션된 ASR 출력을 활용한 데이터 증강이 음성에서의 엔드 투 엔드 NER의 강인성과 정확도에 얼마나 기여하는가?
• RQ4 실체 예측에 중점을 두는 '스타 모드' 학습 전략이 실체 유형 탐지의 F-측정치에 측정 가능한 향상을 가져오는가?
• RQ5 품사 태깅과 같은 언어학적 특징이 음성에서의 엔드 투 엔드 NER 성능에 어떤 영향을 미치는가?

주요 결과

• 엔드 투 엔드 모델은 실체 유형 탐지에서 테스트 세트에서 F-측정치 0.69를 기록했으며, 파이프라인 접근 방식의 0.65를 뛰어넘었다.
• 데이터 증강과 '스타 모드' 학습을 통한 엔드 투 엔드 접근 방식은 유형 탐지에서 F-측정치 0.69로 향상되었으며, 공동 최적화와 집중된 학습의 효과를 입증했다.
• 실체 값 탐지에서는 파이프라인 접근 방식이 엔드 투 엔드 모델보다 성능이 뛰어나 F-측정치 0.50 대비 0.47로, 값 추출에서 성능 격차가 존재함을 시사한다.
• 품사 태깅을 통합하면 파이프라인 및 엔드 투 엔드 설정 모두에서 NER 성능이 크게 향상되어 언어학적 특징의 유용성을 확인한다.
• 자동으로 레이블링된 ASR 출력을 활용한 데이터 증강은 엔드 투 엔드 모델의 성능 향상에 기여했으며, 특히 '스타 모드'와 조합했을 때 효과가 두드러졌다.
• 이 연구는 음성에서 실체로의 엔드 투 엔드 학습이 가능하며, 특히 유형 탐지에서 파이프라인 시스템에 비해 유망한 대안이 될 수 있음을 확인한다.