[論文レビュー] Speeding Up Permutation Invariant Training for Source Separation

Thilo von Neumann, Christoph Böddeker+3 more|arXiv (Cornell University)|Jul 30, 2021

Speech and Audio Processing参考文献 18被引用数 6

ひとこと要約

本稿では、順列不変訓練（PIT）損失をスコア行列と厳密に単調増加関数に分解する効率的な手法を提案し、発話レベルPITではハンガリアン法、Graph-PITでは動的計画法を用いて多項式時間での解法を可能にした。このアプローチにより、計算複雑性は階乗時間から多項式時間に低下し、多数の話者や長時間の録音に対しても訓練が可能になる。

ABSTRACT

Permutation invariant training (PIT) is a widely used training criterion for neural network-based source separation, used for both utterance-level separation with utterance-level PIT (uPIT) and separation of long recordings with the recently proposed Graph-PIT. When implemented naively, both suffer from an exponential complexity in the number of utterances to separate, rendering them unusable for large numbers of speakers or long realistic recordings. We present a decomposition of the PIT criterion into the computation of a matrix and a strictly monotonously increasing function so that the permutation or assignment problem can be solved efficiently with several search algorithms. The Hungarian algorithm can be used for uPIT and we introduce various algorithms for the Graph-PIT assignment problem to reduce the complexity to be polynomial in the number of utterances.

研究の動機と目的

• 音源分離における単純な順列不変訓練（PIT）の指数的計算複雑性を、特に多数の話者や長時間の録音に対して解決すること。
• Graph-PITの割り当て問題のNP困難性を、損失関数の再定式化により効率的な最適化を可能にする。
• 高密度話者数を想定した発話レベルおよび連続音声分離（CSS）のニューラルネットワークの実用的訓練を可能にすること。
• PITの割り当てステップの実行時間を、ニューラルネットワークの順方向/逆方向伝搬と比較して無視できる程度に短縮すること。
• uPITとGraph-PITの両方に適用可能な一般化されたフレームワークを提供することを目的とし、損失関数を行列と単調増加関数に分解する。

提案手法

• PIT損失をスコア行列Mと厳密に単調増加関数に分解し、効率的な最適化を可能にする。
• 発話レベルPITの割り当て問題を、話者の数Kに対してO(K³)時間で解くハンガリアン法を適用する。
• Graph-PITの割り当て問題をグラフ彩色問題として定式化し、発話数に線形時間で収束する動的計画法で解く。
• 全順列の損失を再計算しないために、事前に計算された損失行列を活用し、冗長な計算を著しく削減する。
• 比較評価のため、ブルートフォース、分枝限定法、深さ優先探索、動的計画法といった複数の割り当てアルゴリズムを実装する。
• 特にKが大きい場合に顕著な高速化を実現するため、MSEの代わりにドット積を用いた行列計算の最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 損失関数の分解を用いることで、発話レベルPITの順列問題を多項式時間で解けるか？
• RQ2 損失関数の再定式化により、Graph-PITの割り当て問題のNP困難性を多項式時間に低減できるか？
• RQ3 動的計画法や分枝限定法などの異なる割り当てアルゴリズムは、Graph-PITにおいて実行時間と最適性の点でどのように比較されるか？
• RQ4 多数話者を含む大規模データセットを用いた場合、割り当てステップの影響が全体の訓練時間に与える影響は何か？
• RQ5 提案されたフレームワークは、最小限のアーキテクチャ変更でuPITとGraph-PITの両方へ一般化可能か？

主な発見

• ハンガリアン法により、uPITの割り当て処理時間がO(K³)に低減され、100人の話者までを1秒未塔で訓練可能となった。
• 動的計画法により、発話数に比例する線形時間でGraph-PITの割り当て問題が解け、最適解が得られた。
• 最適化されたハンガリアン法を用いることで、100人の話者に対しても割り当てステップの実行時間が10ms未塔にまで短縮され、無視できるほど小さくなった。
• 15発話以上ではブルートフォースや分枝限定法といった指数時間アルゴリズムが訓練時間の大部分を占め、未最適化バージョンでは15発話で40秒以上を要した。
• 事前計算されたスコア行列のアプローチにより、冗長な損失計算が削減され、MSEの代わりにドット積を用いることでさらに行列計算が高速化された。
• このフレームワークにより、高密度話者数や長時間録音に対してもGraph-PITの実用的訓練が可能となり、多くの場合でステッチ処理の必要がなくなった。