[논문 리뷰] Speeding Up Permutation Invariant Training for Source Separation

Thilo von Neumann, Christoph Böddeker외 3명|arXiv (Cornell University)|2021. 07. 30.

Speech and Audio Processing참고 문헌 18인용 수 6

한 줄 요약

이 논문은 순열 불변 훈련(PIT) 손실을 점수 행렬과 엄격하게 단조증가하는 함수로 효율적으로 분해함으로써, 문장 수준의 PIT에 대해서는 헝가리안 알고리즘을, Graph-PIT에 대해서는 동적 프로그래밍을 통해 다항시간 해법을 가능하게 한다. 이 방법은 계산 복잡도를 계승수에서 다항식 시간으로 감소시켜, 많은 수의 화자 또는 긴 녹음 파일에 대해서도 훈련이 가능하게 한다.

ABSTRACT

Permutation invariant training (PIT) is a widely used training criterion for neural network-based source separation, used for both utterance-level separation with utterance-level PIT (uPIT) and separation of long recordings with the recently proposed Graph-PIT. When implemented naively, both suffer from an exponential complexity in the number of utterances to separate, rendering them unusable for large numbers of speakers or long realistic recordings. We present a decomposition of the PIT criterion into the computation of a matrix and a strictly monotonously increasing function so that the permutation or assignment problem can be solved efficiently with several search algorithms. The Hungarian algorithm can be used for uPIT and we introduce various algorithms for the Graph-PIT assignment problem to reduce the complexity to be polynomial in the number of utterances.

연구 동기 및 목표

• 소스 분리에서 순수한 순열 불변 훈련(PIT)의 지수적 계산 복잡도를 해결함으로써, 특히 많은 수의 화자 또는 긴 녹음 파일에 대해 효율성을 확보한다.
• Graph-PIT 할당의 NP-난해성 문제를 손실 함수 재정의를 통해 효율적인 최적화가 가능하도록 개선한다.
• 높은 화자 수에서 문장 수준 및 연속 음성 분리(CSS)를 위한 신경망의 실용적 훈련을 가능하게 한다.
• PIT의 할당 단계의 런타임을 신경망의 순방향/역방향 전파에 비해 무시할 만큼 작게 줄인다.
• uPIT와 Graph-PIT에 모두 적용 가능한 일반적 프레임워크를 제공하기 위해 손실를 행렬과 단조증가 함수로 분해한다.

제안 방법

• PIT 손실을 점수 행렬 M과 엄격하게 단조증가하는 함수로 분해하여 효율적 최적화를 가능하게 한다.
• 화자 수 K에 대해 O(K³) 시간 내에 uPIT 할당 문제를 헝가리안 알고리즘으로 해결한다.
• Graph-PIT 할당 문제를 그래프 색칠 문제로 재구성하고, 문장 수에 대해 선형 시간 복잡도를 가지는 동적 프로그래밍으로 해결한다.
• 모든 순열에 대해 손실를 재계산하지 않기 위해 사전 계산된 손실 행렬을 사용하여 중복 계산을 극도로 줄인다.
• 비교 평가를 위해 브루트포스, 분기한정법, DFS, 동적 프로그래밍 등의 다수의 할당 알고리즘을 구현한다.
• 특히 큰 K에 대해 런타임을 추가로 감소시키기 위해 MSE 대신 내적 연산을 사용하여 행렬 계산을 최적화한다.

실험 결과

연구 질문

• RQ1 손실 함수의 분해를 통해 문장 수준의 PIT 순열 문제를 다항시간 내에 해결할 수 있는가?
• RQ2 손실 함수의 재정의를 통해 Graph-PIT 할당의 NP-난해성 복잡도를 다항시간으로 감소시킬 수 있는가?
• RQ3 다양한 할당 알고리즘(예: 동적 프로그래밍, 분기한정법)이 Graph-PIT에 대해 런타임과 최적성 측면에서 어떻게 비교되는가?
• RQ4 많은 화자 수를 가진 대규모 데이터셋을 사용할 경우, 할당 단계가 전체 훈련 시간에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크는 아키텍처 변경을 최소화하면서 uPIT와 Graph-PIT에 모두 일반화될 수 있는가?

주요 결과

• 헝가리안 알고리즘은 uPIT 할당 시간을 O(K³)로 줄여, 최대 100명의 화자에 대해 1초 이내로 훈련이 가능하게 한다.
• 동적 프로그래밍은 문장 수에 대해 선형 시간 복잡도로 Graph-PIT 할당 문제를 해결하며 최적 해를 달성한다.
• 최적화된 헝가리안 알고리즘을 사용할 경우, 실질적인 케이스(100명의 화자 포함)에서도 할당 단계의 런타임이 10ms 미만으로 무시할 만큼 작아진다.
• 브루트포스 및 분기한정법과 같은 지수시간 알고리즘은 15개 이상의 문장에서 훈련 시간을 지배하며, 비최적화된 버전은 15개 문장에 대해 40초 이상 소요된다.
• 사전 계산된 점수 행렬 접근법은 중복된 손실 계산을 줄이며, MSE 대신 내적 연산을 사용함으로써 행렬 계산 속도를 추가로 향상시킨다.
• 이 프레임워크는 긴 녹음 파일과 높은 화자 수에서 Graph-PIT의 실용적 훈련을 가능하게 하여, 많은 경우에서 스티칭이 필요 없게 한다.