[논문 리뷰] Untangling in Invariant Speech Recognition

Cory Stephenson, Jenelle Feather외 5명|arXiv (Cornell University)|2020. 03. 03.

Speech and Audio Processing인용 수 9

한 줄 요약

이 논문은 음성 인식을 위한 딥 뉴럴 네트워크에 다양체 풀어내기 이론을 적용하여, 작업에 관련된 특징(단어, 음소, 품사 등)이 네트워크 계층을 거치면서 점점 더 분리됨을 드러내며, 동시에 말하는 사람에 특화된 변형은 기각됨을 보여준다. 연구는 순환 계층의 시간적 처리가 추가로 분리도를 향상시키며, 특히 단어 경계 근처에서 다각체 반경과 차원 수가 감소함에 따라 분리도가 최고조에 이르는 것으로 나타났다.

ABSTRACT

Encouraged by the success of deep neural networks on a variety of visual tasks, much theoretical and experimental work has been aimed at understanding and interpreting how vision networks operate. Meanwhile, deep neural networks have also achieved impressive performance in audio processing applications, both as sub-components of larger systems and as complete end-to-end systems by themselves. Despite their empirical successes, comparatively little is understood about how these audio models accomplish these tasks. In this work, we employ a recently developed statistical mechanical theory that connects geometric properties of network representations and the separability of classes to probe how information is untangled within neural networks trained to recognize speech. We observe that speaker-specific nuisance variations are discarded by the network's hierarchy, whereas task-relevant properties such as words and phonemes are untangled in later layers. Higher level concepts such as parts-of-speech and context dependence also emerge in the later layers of the network. Finally, we find that the deep representations carry out significant temporal untangling by efficiently extracting task-relevant features at each time step of the computation. Taken together, these findings shed light on how deep auditory models process time dependent input signals to achieve invariant speech recognition, and show how different concepts emerge through the layers of the network.

연구 동기 및 목표

• 음성 인식을 위한 딥 뉴럴 네트워크가 계층을 거치면서 작업에 관련된 청각 대상 다각체를 어떻게 풀어내는지 조사하기.
• 순환 계층의 시간적 동역학이 시간에 따라 음성 단위의 분리도를 어떻게 가능하게 하는지 검토하기.
• 다른 아키텍처(CNN 및 엔드 투 엔드 ASR)와 과제(단어 인식 대비 말하는 사람 식별) 간의 풀어내기 행동을 비교하기.
• 풀어내기가 훈련의 유도된 성질인지, 명시적인 최적화 목표가 아니라 잠재된 성질인지 평가하기.
• 네트워크 아키텍처, 훈련 목표, 학습된 표현의 기하학적 구조 간의 관계 평가하기.

제안 방법

• 연구는 다각체 용량을 측정하여 기하학적 특성(반경, 차원 수, 중심 상관관계)을 선형 분리도와 연결하는 통계역학적 프레임워크를 바탕으로 한 복제 방법을 활용하여 다각체 용량을 계산한다.
• 각 계층과 시간 단계에서 다각체 용량을 계산하여 다양한 음성 클래스(단어, 음소, 품사, 말하는 사람)가 얼마나 잘 분리되어 있는지 평가한다.
• LibriSpeech 및 말하는 사람 식별 데이터셋에서 훈련된 CNN과 엔드 투 엔드 ASR 모델(Deep Speech 2)에 이 분석을 적용한다.
• 훈련 에포크 동안 다각체 반경과 차원 수와 같은 기하학적 특성을 추적하여 풀어내기의 발생 여부를 평가한다.
• 순환 계층에서 각 시간 단계에서 다각체 측정치를 계산하여 시간에 따른 분리도 역학을 평가함으로써 시간적 풀어내기의 특성을 평가한다.
• 랜덤 가중치 초기화로부터의 표현을 비교하여, 풀어내기가 아키텍처 자체 때문이 아니라 훈련 덕분에 발생하는지 평가한다.

실험 결과

연구 질문

• RQ1 음성 인식을 위한 딥 뉴럴 네트워크는 계층적 계층을 거치면서 어떻게 단어 다각체를 풀어내는가?
• RQ2 음소와 품사의 풀어내기가 훈련의 잠재적 성질인지, 명시적인 목표가 아닌가?
• RQ3 순환 계층은 시간 단계에 걸쳐 음성 단위의 시간적 풀어내기에 어떻게 기여하는가?
• RQ4 단어 인식 모델에서는 말하는 사람에 특화된 정보가 계층을 거치며 왜 소멸하는가? 말하는 사람 식별 모델에서는 이를 유지하는가?
• RQ5 표현의 기하학적 구조는 과제 성능과 음성 인식 및 말하는 사람 식별 간의 전이 가능성과 어떻게 관련되어 있는가?

주요 결과

• 더 깊은 계층을 거치면서 단어 다각체는 뚜렷한 풀어내기를 보이며, 다각체 용량이 증가하고 반경과 차원 수가 감소하여 선형 분리도가 향상됨을 나타낸다.
• 엔드 투 엔드 ASR 모델인 Deep Speech 2는 이러한 음소와 품사의 풀어내기가 명시적인 훈련 목표가 아니었음에도 불구하고 잠재적으로 나타남을 보였다.
• ASR 모델의 순환 계층에서는 단어 경계 근처의 시간 단계에서 분리도가 최고조에 이르며, 상대적 용량이 3.6으로 랜덤 기준값 1.4보다 훨씬 높아지며, 이는 다각체 반경과 차원 수가 감소했기 때문이다.
• 단어 인식 모델에서는 말하는 사람 다각체가 계층을 거치며 기각되지만, 말하는 사람 식별을 위해 전용으로 훈련된 모델에서는 유지됨을 보여, 과제에 따라 표현 기하학이 달라짐을 시사한다.
• 아키텍처와 훈련 목표의 차이가 있음에도 불구하고, CNN과 엔드 투 엔드 ASR 모델 모두 비슷한 풀어내기 행동으로 수렴함을 보여, 음성 표현 학습에서 보편적인 기하학 원리가 존재할 가능성을 시사한다.
• 연구는 순환 네트워크의 시간 처리가 기하학적 특성이 시간에 따라 동적으로 변화함에 따라 효율적이고 프레임 기반의 음성 단위 분리가 가능함을 입증하였다.