[논문 리뷰] Deep Neural Networks for Automatic Speech Processing: A Survey from Large Corpora to Limited Data

Vincent Roger, Jérôme Farinas외 1명|arXiv (Cornell University)|2020. 03. 09.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 종합 검토는 자원이 부족한 음성 처리 환경에서 소수의 예제를 활용한 학습 기법을 조사하며, ASR, 발화자 식별, 정서 인식과 같은 저자원 상황에 초점을 맞춘다. 그래프 신경망과 메타학습 프레임워크를 평가한 결과, 1-shot에서 69.4%의 정확도와 10-shot에서 83.6%의 정확도를 기록하여, 대규모 데이터셋이 확보되지 않은 장애성 또는 희귀 언어 음성 응용 분야에서의 잠재력을 보여준다.

ABSTRACT

Most state-of-the-art speech systems are using Deep Neural Networks (DNNs). Those systems require a large amount of data to be learned. Hence, learning state-of-the-art frameworks on under-resourced speech languages/problems is a difficult task. Problems could be the limited amount of data for impaired speech. Furthermore, acquiring more data and/or expertise is time-consuming and expensive. In this paper we position ourselves for the following speech processing tasks: Automatic Speech Recognition, speaker identification and emotion recognition. To assess the problem of limited data, we firstly investigate state-of-the-art Automatic Speech Recognition systems as it represents the hardest tasks (due to the large variability in each language). Next, we provide an overview of techniques and tasks requiring fewer data. In the last section we investigate few-shot techniques as we interpret under-resourced speech as a few-shot problem. In that sense we propose an overview of few-shot techniques and perspectives of using such techniques for the focused speech problems in this survey. It occurs that the reviewed techniques are not well adapted for large datasets. Nevertheless, some promising results from the literature encourage the usage of such techniques for speech processing.

연구 동기 및 목표

• 대규모 레이블링된 데이터셋이 확보되지 않은 상황에서, 특히 자원이 부족한 언어나 병리적 음성에 대해 딥 네ural 네트워크를 훈련하는 데 도전하는 문제를 다루기.
• 데이터 증강, 전이 학습, 다중 작업 학습과 같은 기법을 통해 데이터 의존도를 줄여 제한된 예시로도 성능을 향상시키는 방법을 조사하기.
• 소수의 예제를 기반으로 한 학습 프레임워크—특히 그래프 신경망(GNN)과 메타학습—이 저자원 음성 처리 과제에 실현 가능한 해결책이 되는지 탐색하기.
• 자원이 부족한 조건에서 실제 음성 과제, 예를 들어 ASR, 발화자 식별, 정서 인식에 소수의 예제 기반 방법의 타당성과 성능을 평가하기.
• 향후 연구를 위한 유망한 방향을 식별하며, 소수의 예제 기반 모델의 벤치마킹과 임상 응용 분야, 예를 들어 음성 이해 가능성 평가에의 적용을 포함하기.

제안 방법

• LibriSpeech와 TED-LIUM 3와 같은 대규모 데이터셋에서 훈련된 최신 엔드 투 엔드 및 하이브리드 ASR 시스템을 종합하여 성능 기준선을 설정하기.
• 도메인 적응, 모델 정교화, 파rameter 효율적인 미세조정과 같은 데이터 효율적인 기법을 검토하여 데이터 요구량을 줄이기.
• 그래프 신경망(GNN) 기반의 소수의 예제 학습 프레임워크를 분석하며, 노드는 지원 샘플과 쿼리 샘플을 나타내며, 인접 행렬은 어텐션 메커니즘을 통해 학습됨.
• 5웨이 에피소드 설정을 사용한 GNN 기반 소수의 예제 음성 분류 모델을 구현하며, 쿼리 세트에 대한 교차 엔트로피 손실을 통해 파라미터를 훈련하기.
• 그래프 컬러션 레이어에서 엣지 가중치를 계산하기 위해 다층 퍼셉트론을 사용한 가변 어텐션 함수 $\phi(v_i^{(l)}, v_j^{(l)}) = f(|v_i^{(l)} - v_j^{(l)}|)$를 적용하기.
• Leaky ReLU를 비선형성 $\rho$로 사용하여 $Gc(V^{(l)}, A^{(l)}) = \rho(\sum_{B \in A} B V^{(l)} \theta_B^{(k,l)})$ 방식으로 그래프 컬러션을 수행하여 노드 간 특징을 집계하기.

실험 결과

연구 질문

• RQ1 소수의 예제 학습 프레임워크는 ASR, 발화자 식별, 정서 인식과 같은 저자원 음성 처리 과제를 효과적으로 다룰 수 있는가?
• RQ2 클래스당 1~10개의 예제로 훈련된 그래프 신경망 기반 소수의 예제 모델은 음성 분류 과제에서 어떤 성능을 보이는가?
• RQ3 LibriSpeech와 같은 대규모 어휘 집합을 가진 음성 과제에 적용했을 때, 소수의 예제 모델의 계산적 제약과 확장성에 대한 한계는 무엇인가?
• RQ4 소수의 예제 기법은 임상 음성 응용 분야, 예를 들어 음성 장애를 탐지하는 데 있어 대규모 레이블링된 데이터셋이 필요한 정도를 얼마나 줄일 수 있는가?
• RQ5 GNN 내의 어텐션 메커니즘은 글로벌 어텐션이나 내부 클래스 어텐션에 비해 소수의 예제 음성 분류 성능을 어떻게 향상시키는가?

주요 결과

• GNN 기반 소수의 예제 프레임워크는 AudioSet 및 [36] 데이터셋에서 1-shot에서 69.4% ± 0.66, 5-shot에서 78.3% ± 0.46, 10-shot에서 83.6% ± 0.98의 정확도를 기록했다.
• 내부 클래스 어텐션 메커니즘이 글로벌 어텐션보다 성능이 뛰어나, 클래스 내에서의 특징 구분 능력 향상이 확인되었다.
• 소규모 과제에서는 유망한 결과를 보였지만, LibriSpeech와 같은 대규모 어휘 집합을 가진 ASR 과제에서는 소수의 예제 모델이 SOTA 모델보다 계산 비용이 높고 확장성 면에서 열등하다.
• 1-shot에서 10-shot으로 샘플 수를 늘릴수록 성능 향상이 뚜렷하게 나타나, 소수의 예제가 존재하는 경우 소수의 예제 학습이 실현 가능함을 시사한다.
• 소수의 예제 기법은 음성 장애 탐지와 같이 데이터 수집이 비용이 많이 들고 시간이 오래 걸리는 임상 및 저자원 음성 응용 분야에서 강력한 잠재력을 보인다.
• 저자들이 향후 소수의 예제 모델을 음성 과제에 대해 벤치마킹할 것을 제안하며, 가장 우수한 성능을 보인 프레임워크를 사용해 음성 이해 가능성 개념을 학습할 계획이다.