[論文レビュー] Speex: A Free Codec For Free Speech

Jean-Marc Valin|arXiv (Cornell University)|Feb 28, 2016

Advanced Data Compression Techniques参考文献 6被引用数 53

ひとこと要約

Speex は、CELP アルゴリズムに基づくオープンソースで特許フリーの音声コーデックであり、信頼性の低いネットワークを介した低遅延で堅牢な VoIP 通信を目的として設計されている。可変ビットレート符号化、埋め込み型の狭帯域/広帯域符号化をサポートし、ノイズ抑制や音声エコーキャンセリングといった高度な機能も備え、同程度のビットレートでプロプライエタリコーデックと同等の品質を実現している。

ABSTRACT

The Speex project has been started in 2002 to address the need for a free, open-source speech codec. Speex is based on the Code Excited Linear Prediction (CELP) algorithm and, unlike the previously existing Vorbis codec, is optimised for transmitting speech for low latency communication over an unreliable packet network. This paper presents an overview of Speex, the technology involved in it and how it can be used in applications. The most recent developments in Speex, such as the fixed-point port, acoustic echo cancellation and noise suppression are also addressed.

研究の動機と目的

• オープンソースの VoIP および通信アプリケーションで使用可能な、ソフトウェア特許の制約のないフリーでオープンソースの音声コーデックを開発すること。
• Linux その他のフリーのオペレーティングシステム上でリアルタイムで低遅延通信に適した、適切な特許フリーの音声コーデックが不足しているという問題を解決すること。
• パケット損失に強い性能、可変ビットレートのサポート、狭帯域および広帯域音声の両方との互換性を備えた VoIP 向けに最適化されたコーデックを提供すること。
• 基本的な符号化を超えて、音声エコーキャンセリングやノイズ抑制といった信号処理ツールを統合することで、エンドツーエンドの VoIP アプリケーション開発を可能にすること。
• 固定小数点アーキテクチャへの対応を提供することで、固定小数点の組み込みシステムへの展開を可能にし、リソース制限のあるデバイスへの応用範囲を広げること。

提案手法

• Speex は、代数的コードブックとピッチ予測を用いて効率的な音声パrameterモデリングを実現する、コード励起線形予測（CELP）アルゴリズムをコア技術として採用している。
• 20 ms のフレームを用い、10 ms の前方予測バッファリングを実装することで、アルゴリズム遅延を最小限に抑え、リアルタイム通信に適した低遅延性能を実現している。
• 音声活動検出（VAD）を統合した可変ビットレート（VBR）符号化を採用しており、音声活動に応じてビットを動的に割り当てることで、符号化効率を向上させている。
• 埋め込み符号化を用いることで、1つのビットストリーム内で狭帯域（8 kHz）と広帯域（16 kHz）モードの間で後方互換性を実現している。
• マイク信号およびスピーカ信号を処理する、多次元遅延周波数（MDF）アルゴリズムに基づく音声エコーキャンセラ（AEC）がライブラリに統合されており、ハンズフリー通話におけるエコー抑制を実現している。
• ノイズ抑制は、エコーキャンセリングの後に適用される後処理ステップとして実装されており、非線形歪みの問題を避けるためにこの順序が必須である。

実験結果

リサーチクエスチョン

• RQ1 特許制限のある技術を避けることで、プロプライエタリコーデックと同等の性能を達成できるフリーでオープンソースの音声コーデックをどのように設計できるか？
• RQ2 計算リソースが限られたシステム上で VoIP に適した低遅延でリアルタイム動作を実現するためには、どのような設計選択が必要か？
• RQ3 フレーム間の冗長性や独立フレーム符号化に依存せずに、パケット損失に強い音声コーデックをどのように実現できるか？
• RQ4 軽量でポータブルなコーデックライブラリに、エコーキャンセリングやノイズ抑制といった高度な信号処理機能を統合する際の実用的課題は何か？
• RQ5 音声品質やリアルタイム性能を損なわずに、Speex を固定小数点アーキテクチャに効果的に移植するにはどうすればよいか？

主な発見

• CELP とは異なる特許技術を避ける一方で、G.729 や AMR といったプロプライエタリコーデックと同等の音声品質を、同程度のビットレートで達成している。
• 2 kbps から 44 kbps の広いビットレート範囲をカバーしており、動的ビットレートスイッチングと VBR 対応により、さまざまなネットワーク状態に適応した帯域効率の高い通信が可能になっている。
• 埋め込みビットストリーム設計により、狭帯域と広帯域音声の間でシームレスな相互運用性が実現されており、レガシ電話システムと現代の広帯域 VoIP アプリケーションの間で相互接続が可能になっている。
• 固定小数点向けの実装により、浮動小数点ユニットのない組み込みデバイスへの展開が可能になり、低消費電力およびリソース制限のある環境への応用範囲が拡大された。
• MDF アルゴリズムに基づく統合エコーキャンセラは、適切な信号タイミングとハードウェア同期が維持されている限り、実世界の VoIP アプリケーションで実用的な有効性を示している。
• 信号処理の順序が極めて重要であり、エコーキャンセリングの前にノイズ抑制または AGC を適用すると、非線形歪みが生じ、線形 AEC では補正できないため、性能が著しく低下する。