[論文レビュー] Sequence to Multi-Sequence Learning via Conditional Chain Mapping for Mixture Signals

Jing Shi, Xuankai Chang+6 more|arXiv (Cornell University)|Jun 24, 2020

Fault Detection and Control SystemsEngineering被引用数 21

ひとこと要約

本稿では、確率的連鎖則を用いて複数の出力系列間の依存関係をモデル化することで、標準的なシーケンス・ツー・シーケンス学習を1対多のシーケンス変換に拡張する条件付きチェーン（CondChain）モデルを提案する。入力および以前に生成された系列に条件づけられた各出力系列の生成により、柔軟で可変長の出力生成が可能となり、計算コストの増加を最小限に抑えながら、音声分離およびマルチスプーカーASRにおいて非条件付きベースラインより一貫した性能向上を達成する。

ABSTRACT

Neural sequence-to-sequence models are well established for applications which can be cast as mapping a single input sequence into a single output sequence. In this work, we focus on one-to-many sequence transduction problems, such as extracting multiple sequential sources from a mixture sequence. We extend the standard sequence-to-sequence model to a conditional multi-sequence model, which explicitly models the relevance between multiple output sequences with the probabilistic chain rule. Based on this extension, our model can conditionally infer output sequences one-by-one by making use of both input and previously-estimated contextual output sequences. This model additionally has a simple and efficient stop criterion for the end of the transduction, making it able to infer the variable number of output sequences. We take speech data as a primary test field to evaluate our methods since the observed speech data is often composed of multiple sources due to the nature of the superposition principle of sound waves. Experiments on several different tasks including speech separation and multi-speaker speech recognition show that our conditional multi-sequence models lead to consistent improvements over the conventional non-conditional models.

研究の動機と目的

• 混合信号処理、特に音声処理における、従来の1対多のシーケンス変換手法の限界を解消すること。
• シリアルおよびパラレルマッピング手法が効果的に捉えきれない、複数の出力系列間の本質的な関係をモデル化すること。
• 可変長の出力生成を可能にするシンプルで効果的なストップ基準を提供すること。
• 各出力系列を直前の出力および入力に明示的に条件づけることで、音声分離およびマルチスプーカーASRの性能を向上させること。
• 音声処理を越える多様なシーケンス・ツー・マルチ・シーケンスタスクに適用可能な統一的で汎用性の高いフレームワークを提供すること。

提案手法

• 標準的なseq2seqにアテンションを導入したモデルを、複数の出力系列の同時分布を因数分解するために確率的連鎖則を用いることで拡張する。
• 各出力系列は、入力系列およびすべての以前に生成された出力系列に条件づけて逐次生成される。
• 学習可能なストップ基準を用いることで、可変長の出力生成が可能となり、系列生成プロセスの終了タイミングを決定する。
• 音声分離およびASRの文脈で、TasNetとCTCアラインメントの監視信号を用いてモデルを具体化し、波形信号およびアラインメント信号の両方を統合的に学習する。
• 反復的精錬は、各ステップが直前の出力を条件としている複数の生成を連結することでモデル化され、反復的信号再推定を模倣する。
• 全ステップで共通のアーキテクチャおよびハイパーパrameterを用いてエンド・ツー・エンドで学習されるため、効率的なパラメータ共有と適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統一的なシーケンス・ツー・マルチ・シーケンスモデルは、混合信号タスクにおける複数の出力系列間の依存関係を効果的にモデル化できるか？
• RQ2 各出力系列を直前の出力および入力に条件づけることで、音声分離およびマルチスプーカーASRの性能が向上するか？
• RQ3 本モデルは、出力間に正の相関関係があるタスク（例：反復的音声ノイズ除去）にも一般化可能か？
• RQ4 意味的監視（例：CTCアラインメント）の導入が、条件付きチェーンモデルの性能にどのように影響するか？
• RQ5 精度および柔軟性の観点から、条件付きチェーンアプローチはシリアルおよびパラレルマッピングパラダイムを上回るか？

主な発見

• CTCアラインメントを意味的条件として用いた場合、SI-SNRiが0.3 dB向上し、構造的監視の有効性が示された。
• 波形信号およびCTCアラインメントの両方を用いた共同微調整により、WERが14.4%に低下し、波形オンリーモードの15.3%に比べ顕著な改善が得られた。
• 反復的音声ノイズ除去のタスクでは、条件付きチェーンモデルの2番目のステップでSDRが18.0 dB、SDRiが8.9 dBを達成し、1番目のステップおよびベースラインのTasNetを上回った。
• モデルサイズの著しい増加を伴わず、音声分離およびマルチスプーカーASRの両タスクで一貫した性能向上を達成した。
• SI-SNRiがASR性能の妥当な代理指標ではないことが示され、タスク固有の評価指標の重要性が強調された。
• 反復的条件づけによる出力の精錬能力は、系列的依存関係をモデル化する上で、強力な適応性および一般化能力を示している。