[論文レビュー] Semantic-preserved Communication System for Highly Efficient Speech Transmission

Tianxiao Han, Qianqian Yang+3 more|arXiv (Cornell University)|May 25, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、音声認識に特化した意味的関連特徴と、再構成に必要な最小限の意味的無関係な音声関連特徴のみを送信する、エンドツーエンドのディープラーニングベースの意味的通信システムを提案する。ソフトアライメント、冗長性除去、事前学習された言語モデルによる意味的補正を採用することで、音声対テキストでは既存手法の16%、音声対音声では0.2%にまで送信シンボルを削減し、伝送効率を著しく向上させつつ、優れたもしくは同等の性能を達成した。

ABSTRACT

Deep learning (DL) based semantic communication methods have been explored for the efficient transmission of images, text, and speech in recent years. In contrast to traditional wireless communication methods that focus on the transmission of abstract symbols, semantic communication approaches attempt to achieve better transmission efficiency by only sending the semantic-related information of the source data. In this paper, we consider semantic-oriented speech transmission which transmits only the semantic-relevant information over the channel for the speech recognition task, and a compact additional set of semantic-irrelevant information for the speech reconstruction task. We propose a novel end-to-end DL-based transceiver which extracts and encodes the semantic information from the input speech spectrums at the transmitter and outputs the corresponding transcriptions from the decoded semantic information at the receiver. For the speech to speech transmission, we further include a CTC alignment module that extracts a small number of additional semantic-irrelevant but speech-related information for the better reconstruction of the original speech signals at the receiver. The simulation results confirm that our proposed method outperforms current methods in terms of the accuracy of the predicted text for the speech to text transmission and the quality of the recovered speech signals for the speech to speech transmission, and significantly improves transmission efficiency. More specifically, the proposed method only sends 16% of the amount of the transmitted symbols required by the existing methods while achieving about 10% reduction in WER for the speech to text transmission. For the speech to speech transmission, it results in an even more remarkable improvement in terms of transmission efficiency with only 0.2% of the amount of the transmitted symbols required by the existing method.

研究の動機と目的

• 原始データに焦点を当てた従来の音声伝送の非効率性を解消するため、意味的コンテンツに焦点を当てる。
• 意味的関連情報のみを送信することで、音声通信における伝送オーバーヘッドを低減する。
• ピッチ、持続時間、パワーなどの、音声固有だが意味的でない最小限の特徴を含めることで、高品質な音声再構成を実現する。
• 事前学習された言語モデルを活用した意味的補正モジュールにより、文字起こしの正確性を向上させる。
• モデル収束を加速させるために、意味的エンコーダーとデコーダーを最初に訓練し、その後に統合的にファインチューニングする二段階訓練スキームを開発する。

提案手法

• ソフトアライメントモジュールを用いて、音声スペクトルからテキスト関連の意味的特徴のみを抽出し、意味的に冗長な内容を除外する。
• 冗長性除去モジュールにより、潜在的意味的特徴を最大90%まで削減し、伝送負荷を最小限に抑える。
• ビームサーチベースの意味的デコーダーは、入力シーケンスの長距離依存関係を捉えることで、文字起こしの正確性を向上させる。
• 意味的補正モジュールは、文脈的な意味的知識を活用して予測された文字起こしを精緻化するために、事前学習された言語モデルを統合する。
• 音声対音声伝送のため、CTCアライメントモジュールが音声素子レベルの特徴（持続時間、ピッチ、パワー、発話者ID）を抽出し、再構成を支援する。
• 二段階訓練スキームでは、まず意味的エンコーダーとデコーダーを訓練し、その後にフルモデルを共同でファインチューニングすることで、収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの意味的通信システムは、音声伝送における送信シンボル数を著しく削減しつつ、文字起こしの正確性を維持できるか？
• RQ2 音声スペクトル内の意味的冗長性は、文字起こしの品質を損なわず、効果的に除去可能か？
• RQ3 事前学習された言語モデルは、意味的通信フレームワーク内での文字起こし正確性をどの程度向上できるか？
• RQ4 最小限の追加的音声関連特徴（例：ピッチ、持続時間）は、最小限のオーバーヘッドで高精細な音声再構成を可能にするか？
• RQ5 二段階訓練戦略は、エンドツーエンドの意味的通信システムにおけるモデル収束を効果的に加速できるか？

主な発見

• 提案手法は、音声対テキスト伝送において、最先端手法に比べて送信シンボルを16%にまで削減し、語誤り率（WER）を10%低減した。
• 音声対音声伝送では、DeepSC-Sに比べて送信シンボルをたった0.2%にまで削減し、同等の音声品質を達成しながら、著しく効率性を向上させた。
• 追加の音声特徴を含まない再構成音声のMOSスコアは、正解に近い水準であり、自然さが高く保たれているが、予測された持続時間が長くなる傾向がある。
• MCD（メルケプストラム距離）の結果から、追加の音声特徴があることで顕著な改善が確認され、スペクトル再構成の正確性が向上していることが裏付けられた。
• 冗長性除去モジュールにより、潜在的意味的特徴は90%まで削減され、意味的に冗長なコンテンツの効果的な抑制が実証された。
• 二段階訓練スキームは、実験結果によりモデル収束が加速することが確認されたが、最終的な性能に悪影響を及げなかった。