[논문 리뷰] DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation

Yi‐Chen Chen, Jui-Yang Hsu외 2명|arXiv (Cornell University)|2020. 05. 13.

Speech Recognition and Synthesis참고 문헌 30인용 수 13

한 줄 요약

이 논문은 다국어 및 단국어 음성 인식을 위한 신경망 아키텍처와 모델 가중치를 동시에 최적화하는 미분 가능 아키텍처 탐색 프레임워크인 DARTS-ASR을 제안한다. 연속적인 아키텍처 공간에서 기울기 기반 탐색을 적용함으로써, DARTS-ASR는 IARPA BABEL 데이터셋에서 단국어 설정과 다국어 설정에서 각각 고정된 아키텍처 기반 모델 대비 10.2% 및 10.0%의 상대적 문자 오류률(CER) 감소를 달성한다.

ABSTRACT

In previous works, only parameter weights of ASR models are optimized under fixed-topology architecture. However, the design of successful model architecture has always relied on human experience and intuition. Besides, many hyperparameters related to model architecture need to be manually tuned. Therefore in this paper, we propose an ASR approach with efficient gradient-based architecture search, DARTS-ASR. In order to examine the generalizability of DARTS-ASR, we apply our approach not only on many languages to perform monolingual ASR, but also on a multilingual ASR setting. Following previous works, we conducted experiments on a multilingual dataset, IARPA BABEL. The experiment results show that our approach outperformed the baseline fixed-topology architecture by 10.2% and 10.0% relative reduction on character error rates under monolingual and multilingual ASR settings respectively. Furthermore, we perform some analysis on the searched architectures by DARTS-ASR.

연구 동기 및 목표

• 자동 음성 인식(ASR)에서 신경망 아키텍처 설계를 자동화하여 인간의 전문성과 수동적인 하이퍼파라미터 튜닝에 대한 의존도를 줄이기.
• 미분 가능 아키텍처 탐색(DARTS)을 다국어 ASR에 확장하여 다국어 간 아키텍처와 가중치를 동시에 최적화할 수 있도록 하기.
• DARTS-ASR가 수동으로 설계된 모델보다 단국어 및 다국어 설정 모두에서 일반화 가능하고 높은 성능을 보이는 아키텍처를 발견할 수 있는지 평가하기.

제안 방법

• 검색 공간은 K개의 노드를 가진 방향 비순환 그래프(DAG)로 정의되며, 각 노드는 특징 맵을 나타내고, 간선은 집합 𝔽(예: 3x3Conv, MaxPool2d, 스킵 연결)에서 선택 가능한 학습 가능한 연산을 나타낸다.
• 아키텍처 연산은 소프트맥스 가중치를 가진 게이트를 통해 미분 가능하게 풀리며, g_{i,j}(H_j) = Σ_f exp(α_f^{i,j}) / Σ_f' exp(α_f'^{i,j}) × f(H_j)로 표현되어 기울기 기반 최적화가 가능해진다.
• 모델은 이중 스트림 최적화 방식으로 학습되며, 검증 세트에서 아키텍처 파rameter α와 네트워크 가중치 θ가 기울기 하강법을 통해 함께 업데이트된다.
• 다국어 ASR의 경우, 모델은 소스 언어에서 미리 훈련된 후, 목표 언어에서 세 가지 전략을 사용해 미세조정된다: 가중치만 미세조정, 아키텍처와 가중치 모두 미세조정, 또는 아키텍처를 정제하고 나서 미세조정.
• 최종 아키텍처는 각 간선에 대해 상위 3개의 연산(가장 높은 α 값)을 기반으로 선택되어, 성능 손실를 최소화하면서 효율적인 추론을 가능하게 한다.
• 프레임워크는 VGG-Small, VGG-Large 및 고정 아키텍처 기반 모델과의 비교를 통해 IARPA BABEL 다국어 ASR 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 미분 가능 아키텍처 탐색(DARTS)이 다국어 자동 음성 인식에 효과적으로 적용되어 수동으로 설계된 아키텍처보다 나은 아키텍처를 발견할 수 있는가?
• RQ2 DARTS-ASR가 발견한 아키텍처는 다국어 ASR에서 여러 저자원 언어 간에 일반화되는가?
• RQ3 DARTS-ASR를 통한 아키텍처와 가중치의 동시 최적화는 고정 아키텍처의 표준적인 미세조정과 비교해 단국어 및 다국어 설정 모두에서 문자 오류률(CER) 측면에서 어떻게 성능을 내는가?
• RQ4 DARTS-ASR에서 도출된 아키텍처 패턴은 단국어 및 다국어 ASR에서 어떻게 나타나며, 언어 간에 어떻게 다름을 보이는가?
• RQ5 DARTS-ASR에서 유도된 정제된 아키텍처는 계산 비용을 줄이면서도 성능을 유지할 수 있는가?

주요 결과

• DARTS-ASR는 IARPA BABEL 데이터셋에서 단국어 ASR에서 고정 아키텍처 기반 모델 대비 10.2%의 상대적 문자 오류률(CER) 감소를 달성했다.
• 다국어 ASR에서는 동일한 기반 모델 대비 10.0%의 상대적 CER 감소를 기록하여, 다양한 언어 간에 강력한 일반화 능력을 입증했다.
• 'Adapt arch.+param.' 미세조정 전략이 가장 높은 성능을 보였지만, 'Adapt only param.' 및 'Adapt pruned arch.+param.' 전략도 다소 낮은 성능에 머물러 있어, 안정성과 효율성 잠재력이 있음을 시사한다.
• 다국어 ASR의 경우, 특히 깊은 층에서 아키텍처가 언어 간에 매우 유사했으며, 공동 미리 훈련 과정을 통해 공통의 일반 목적 아키텍처가 도출된다는 것을 시사한다.
• 단국어 ASR의 경우, 언어에 따라 아키텍처가 크게 달라졌다(예: 베트남어와 스와힐리어는 유사했고, 타밀어와 쿠르만지어는 다름을 보였다), 이는 언어 특화 최적화를 반영한다.
• 정제된 아키텍처는 복잡도를 감소시켰음에도 불구하고 높은 성능을 유지하여, DARTS-ASR가 정밀한 모델 압축을 가능하게 하며 상당한 정확도 손실 없이도 효율성을 확보할 수 있음을 보여준다.