[論文レビュー] Is CQT more suitable for monaural speech separation than STFT? an empirical study

Ziqiang Shi, Huibin Lin+3 more|arXiv (Cornell University)|Feb 2, 2019

Speech and Audio Processing参考文献 19被引用数 7

ひとこと要約

この論文は、単一耳音声分離のフロントエンドとして、定数Q変換（CQT）が短時間フーリエ変換（STFT）を上回るかを調査する。WSJ0-2mixコーパスを用いて、著者らは実験的にCQTベースのモデルがSTFTベースの手法よりも平均して0.4 dBの信号対歪み比（SDR）の向上を達成することを示している。これは、CQTの非線形周波数分解能が人間の聴覚認識により適しているためである。

ABSTRACT

Short-time Fourier transform (STFT) is used as the front end of many popular successful monaural speech separation methods, such as deep clustering (DPCL), permutation invariant training (PIT) and their various variants. Since the frequency component of STFT is linear, while the frequency distribution of human auditory system is nonlinear. In this work we propose and give an empirical study to use an alternative front end called constant Q transform (CQT) instead of STFT to achieve a better simulation of the frequency resolving power of the human auditory system. The upper bound in signal-to-distortion (SDR) of ideal speech separation based on CQT's ideal ration mask (IRM) is higher than that based on STFT. In the same experimental setting on WSJ0-2mix corpus, we examined the performance of CQT under different backends, including the original DPCL, utterance level PIT, and some of their variants. It is found that all CQT-based methods are better than STFT-based methods, and achieved on average 0.4dB better performance than STFT based method in SDR improvements.

研究の動機と目的

• CQTの非線形周波数分解能を活用することで、CQTが単一耳音声分離においてSTFTよりも適しているかどうかを評価すること。
• STFTの線形周波数ビンが人間の聴覚認識と一致しないという限界を是正すること。
• 標準化された設定下で、CQTとSTFTを複数のディープラーニングバックエンドで実証的に比較すること。
• CQTベースのイdealレートマスク（IRM）がSTFTベースのIRMよりも高い上限SDRを達成するかどうかを特定すること。
• DPCLおよびPITの変種を含む、異なる学習フレームワークにおいてCQTの改善効果が一般化されるかどうかを評価すること。

提案手法

• 単一耳音声分離モデルの標準的なSTFTフロントエンドをCQTに置き換えることで、人間の聴覚周波数分解能をよりよく模倣する。
• CQTおよびSTFT表現に基づいてイdealレートマスク（IRM）を計算し、上限性能の限界を確立する。
• 同じアーキテクチャとハイパーパramータを用いて、フロントエンド変換（CQT対STFT）のみが異なる複数のモデルを訓練・評価する。
• ディープクラスタリング（DPCL）、パーミュテーション不変トレーニング（PIT）およびその変種を含む、標準的な単一耳分離バックエンドを適用する。
• WSJ0-2mixデータセットを用いて、すべての実験で一貫性のある評価を実施する。
• 主な指標として信号対歪み比（SDR）を用いて性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 CQTベースのイdealレートマスクは、STFTベースのイdealレートマスクよりも高い上限SDRを達成するか？
• RQ2 CQTベースのモデルは、DPCLおよび発話レベルPITを含む複数のディープラーニングバックエンドにおいて、STFTベースのモデルを上回るか？
• RQ3 DPCLおよびPITなどの異なる学習フレームワークにおいて、CQTによる性能向上は一貫しているか？
• RQ4 CQTの非線形周波数分解能は、STFTの線形分解能と比較して、分離性能をどの程度向上させるか？
• RQ5 CQTはSTFTよりも生物学的に妥当なフロントエンドとして、音声分離に適していると言えるか？

主な発見

• CQTベースのイdealレートマスク（IRM）は、STFTベースのIRMよりも高い上限信号対歪み比（SDR）を達成する。
• DPCLおよび発話レベルPITを含む複数のバックエンドにおいて、すべてのCQTベースのモデルがSTFTベースの対応モデルを上回る。
• WSJ0-2mixコーパスにおいて、CQTベースの手法はSTFTベースの手法と比較して平均して0.4 dBのSDR向上を達成する。
• 性能向上は異なるモデルバージョンにおいて一貫しており、CQTがフロントエンドとしての堅牢性を示している。
• 結果から、CQTの非線形周波数分解能が人間の聴覚認識により適しており、分離性能の向上に寄与していることが示唆される。
• 実証的証拠から、上限性能および実用的性能の両面で、CQTは単一耳音声分離においてSTFTの優れた代替手段であると支持される。