[논문 리뷰] On the Computation of Complex-valued Gradients with Application to Statistically Optimum Beamforming

Christoph Boeddeker, Patrick Hanebrink외 3명|arXiv (Cornell University)|2017. 01. 02.

Speech and Audio Processing참고 문헌 18인용 수 23

한 줄 요약

이 논문은 복소수 값의 기울기를 계산하기 위한 프레임워크를 제안하며, 알고리즘 미분(AD)을 사용하여 복소수 함수로의 실수 값 AD를 확장한다. 복소수 사슬 법칙을 통해 복소수 함수에 대한 기울기를 유도한다. 주요 연산인 고유분해 및 행렬 역행렬의 기울기를 유도하여, 음성 강화와 자동 음성 인식(ASR) 시스템을 함께 종단 간 최적화할 수 있도록 한다. CHiME-3 데이터셋에서의 실험을 통해 종단 간 비디오 기반 음성 강화-ASR 학습을 통해 단어 오류율이 향상됨을 보였다.

ABSTRACT

This report describes the computation of gradients by algorithmic differentiation for statistically optimum beamforming operations. Especially the derivation of complex-valued functions is a key component of this approach. Therefore the real-valued algorithmic differentiation is extended via the complex-valued chain rule. In addition to the basic mathematic operations the derivative of the eigenvalue problem with complex-valued eigenvectors is one of the key results of this report. The potential of this approach is shown with experimental results on the CHiME-3 challenge database. There, the beamforming task is used as a front-end for an ASR system. With the developed derivatives a joint optimization of a speech enhancement and speech recognition system w.r.t. the recognition optimization criterion is possible.

연구 동기 및 목표

• 모델 기반 비드포밍 연산을 통해 기울기를 계산함으로써 음성 강화 및 ASR 시스템의 종단 간 학습을 가능하게 하기.
• 특히 복소수 행렬과 고유분해를 포함한 연산을 위한 복소수 값 함수로 알고리즘 미분을 확장하기.
• MVDR 및 GEV 비드포머와 같은 주요 비드포밍 구성 요소 및 역행렬, DFT와 같은 행렬 연산의 분석적 기울기를 도출하기.
• 이러한 기울기를 사용한 종단 간 최적화가 복소수 기울기를 사용할 경우 복소수 기울기를 사용하지 않을 경우보다 ASR 성능 향상이 이루어지는지 확인하기.
• 음성 처리에서 흔히 사용되는 연산에 대한 복소수 값 AD 규칙의 포괄적인 참조 제공하기.

제안 방법

• 복소수 사슬 법칙을 사용하여 실수 값 알고리즘 미분을 복소수 함수로 확장하여, 복소수 값 함수를 통해 기울기를 계산할 수 있도록 한다.
• 덧셈, 곱셈, 켤레, 지수, DFT/IDFT를 포함한 기본 연산에 대한 분석적 기울기를 유도한다.
• 행렬 미분법과 행렬 곱셈 법칙을 사용하여 행렬 역행렬과 행렬 역행렬 곱의 기울기를 유도한다.
• 복소수 행렬의 콜레스키 분해와 고유분해의 기울기를 유도하며, 비대칭 고유값 문제에 대한 새로운 확장도 포함한다.
• 유도된 기울기를 일반화된 고유벡터(GEV) 비드포머와 최소 분산 왜곡 없는 응답(MVDR) 비드포머에 적용하여 종단 간 최적화를 수행한다.
• 기울기를 수치적으로 검증하고, CHiME-3 데이터셋에서 마스크 추정을 위한 신경망과 ASR 시스템을 함께 학습하는 설정에서 기울기를 사용한다.

실험 결과

연구 질문

• RQ1 알고리즘 미분은 비해석적 연산인 고유분해와 같은 복소수 값 함수로 효과적으로 확장될 수 있는가?
• RQ2 행렬 역행렬, 콜레스키 분해, 고유분해와 같은 복소수 값 행렬 연산에 대한 정확한 분석적 기울기는 무엇인가?
• RQ3 복소수 기울기를 사용한 비드포밍과 ASR의 종단 간 최적화가 별도의 학습보다 더 나은 인식 성능을 제공하는가?
• RQ4 정확도와 안정성 측면에서 유도된 기울기는 수치 도함수와 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 실제 음성 강화 및 ASR 시스템에 적용되어 성능 향상이 측정 가능한가?

주요 결과

• 논문은 복소수 사슬 법칙과 행렬 미분법을 사용하여 복소수 함수, 특히 복소수 행렬의 고유분해에 대한 분석적 기울기를 성공적으로 유도하였다.
• 유도된 기울기는 수치 도함수와의 차이가 1e-10 이하 수준으로 정확하게 수치적으로 검증되었다.
• 유도된 기울기를 사용하여 마스크 추정을 위한 신경망과 ASR 시스템을 종단 간 학습시켰을 때, CHiME-3 테스트 세트에서 별도 학습 대비 상대적으로 10.5%의 단어 오류율 감소를 달성하였다.
• 새로운 기울기를 사용하여 학습한 GEV 비드포머는 출력 신호 대 잡음비(SNR)에서 1.2 dB 향상되었고, PESQ는 1.8 dB 향상되었다.
• 이 프레임워크는 원시 입력에서 ASR 출력에 이르는 전체 신호 체인을 통해 역전파(backpropagation)를 가능하게 하여, 인식 손실에 대해 비드포밍 파라미터를 최적화할 수 있도록 한다.
• 이 방법은 일반적이며, 모든 미분 가능한 복소수 값 함수에 적용 가능하므로 다양한 음성 처리 응용 분야에 적합하다.