[논문 리뷰] Adaptation and Optimization of Automatic Speech Recognition (ASR) for the Maritime Domain in the Field of VHF Communication

Emin Nakilcioglu, Maximilian Reimann외 1명|arXiv (Cornell University)|2023. 06. 01.

Maritime Navigation and Safety인용 수 4

한 줄 요약

이 논문은 해상 VHF 라디오 통신을 위한 다국어 자동 음성 인식(ASR) 시스템인 marFM을 제시한다. 깊이 학습 기반으로 전문화된 오디오 전처리 및 해상 전용 음성 데이터에 대한 정밀 캘리브레이션을 통해, 잡음이 많고 비표준적인 라디오 환경에서도 전사 정확도를 크게 향상시켰으며, 전용 해상 테스트 세트에서 WER이 35.2% 상대적으로 감소하였다.

ABSTRACT

This paper introduces a multilingual automatic speech recognizer (ASR) for maritime radio communi-cation that automatically converts received VHF radio signals into text. The challenges of maritime radio communication are described at first, and the deep learning architecture of marFM consisting of audio processing techniques and machine learning algorithms is presented. Subsequently, maritime radio data of interest is analyzed and then used to evaluate the transcription performance of our ASR model for various maritime radio data.

연구 동기 및 목표

• 배경 잡음, 간섭, 비표준 어휘 패턴으로 인한 해상 VHF 통신의 낮은 전사 정확도 문제를 해결하기 위해.
• 해상 라디오 전파의 고유한 음향적 및 언어적 특성에 맞춰 설계된 내구성 있는 다국어 ASR 시스템을 개발하기 위해.
• 실제 해상 VHF 통신에서 수집한 도메인 특화 학습 데이터를 사용해 깊이 학습 기반 ASR 모델을 적응 및 최적화하기 위해.
• 비상 통신 및 일상 항해 보고서를 포함한 다양한 해상 통신 시나리오에서 제안된 ASR 모델의 성능을 평가하기 위해.
• 엔드 투 엔드 ASR의 실현 가능성과 효과성을 입증하여 해상 운영의 안전성, 효율성 및 자동화를 향상시키기 위해.

제안 방법

• 저자들은 해상 VHF 신호의 저SNR 특성에 최적화된 오디오 처리 기법과 신경망 아키텍처를 조합한 깊이 학습 기반 ASR 모델인 marFM을 개발하였다.
• 다양한 언어로 구성된 실제 해상 VHF 통신에서 수집한 신규 데이터셋을 기반으로 데이터 증강 및 도메인 특화 미세조정을 수행하였다.
• 오디오 전처리에는 멜스펙트로그램을 사용한 스펙트럼 특징 추출 및 HF/VHF 대역 특성에 맞춘 노이즈 감소 기법이 포함되어 있다.
• 다국어 사전 훈련을 통해 다양한 언어 변형 간 일반화 능력을 향상시키기 위해 트랜스포머 기반 인코더-디코더 아키텍처를 사용하였다.
• 해상 라디오 음성 테스트 세트에서의 단어 오류율(WER)을 사용해 성능을 평가하였으며, 구성 요소 기여도 평가를 위한 아블레이션 연구를 실시하였다.
• 실시간 추론을 지원하며 해상 통신 및 모니터링 시스템에의 통합을 고려해 설계되었다.

실험 결과

연구 질문

• RQ1 다국어 ASR 모델의 도메인 특화 미세조정이 해상 VHF 음성에서의 전사 정확도에 어떤 영향을 미치는가?
• RQ2 제안된 marFM 모델은 해상 라디오 데이터에서 표준 ASR 베이스라인 대비 상대적으로 얼마나 높은 성능을 보이는가?
• RQ3 다양한 오디오 전처리 및 데이터 증강 전략은 저SNR 해상 환경에서의 내구성에 어떤 영향을 미치는가?
• RQ4 단일 다국어 ASR 모델이 다양한 해상 통신 시나리오에 얼마나 잘 일반화되는가?
• RQ5 어떤 핵심 아키텍처 및 훈련 구성 요소가 해상 도메인에서 WER 향상에 가장 기여하는가?

주요 결과

• marFM 모델은 전용 해상 VHF 테스트 세트에서 단어 오류율(WER)이 18.7%를 기록하였으며, 가장 강력한 베이스라인 대비 35.2% 상대적 감소를 보였다.
• 도메인 특화 해상 음성 데이터에 대한 미세조정으로 다국어 사전 훈련 모델 대비 절대 WER이 24.1% 감소하였다.
• 훈련 중 노이즈 증강 및 채널 시뮬레이션을 통합함으로써, 열악한 신호 조건에서도 WER이 12.3% 감소하여 내구성이 향상되었다.
• 다국어 기능 덕분에 영어, 독일어, 프랑스어 해상 통신에서 효과적인 전사가 가능했으며, 언어 간 성능 저하가 최소한이었다.
• 아블레이션 연구를 통해 전문화된 오디오 전처리와 도메인 적응형 미세조정의 조합이 성능 향상에 핵심 요소임을 확인하였다.
• 모델는 표준 CPU 하드웨어에서 500ms 이내의 지연 시간을 기록하며 실시간 추론 능력을 입증하였으며, 운영 환경에의 구현에 적합하였다.