[논문 리뷰] AutoKWS: Keyword Spotting with Differentiable Architecture Search

Bo Zhang, Wenfeng Li외 4명|arXiv (Cornell University)|2020. 09. 08.

Speech and Audio Processing참고 문헌 29인용 수 6

한 줄 요약

이 논문은 자원 제약이 있는 디바이스를 위한 효율적이고 높은 정확도를 가진 키워드 스포팅 모델을 발견하기 위해 미분 가능 신경망 아키텍처 탐색 프레임워크인 AutoKWS를 제안한다. 커스터마이징된 TC-ResNet 기반의 탐색 공간에 NoisyDARTS를 적용함으로써, Google Speech Commands V1 데이터셋에서 약 10만 파라미터로 97.2%의 상위-1 정확도를 달성하였으며, 정확도와 모델 효율성 측면에서 이전 연구들보다 뛰어나다.

ABSTRACT

Smart audio devices are gated by an always-on lightweight keyword spotting program to reduce power consumption. It is however challenging to design models that have both high accuracy and low latency for accurate and fast responsiveness. Many efforts have been made to develop end-to-end neural networks, in which depthwise separable convolutions, temporal convolutions, and LSTMs are adopted as building units. Nonetheless, these networks designed with human expertise may not achieve an optimal trade-off in an expansive search space. In this paper, we propose to leverage recent advances in differentiable neural architecture search to discover more efficient networks. Our searched model attains 97.2% top-1 accuracy on Google Speech Command Dataset v1 with only nearly 100K parameters.

연구 동기 및 목표

• 스트레스 테스트가 엄격한 지연 시간과 파라미터 제약 조건을 가진 스마트 오디오 디바이스를 위한 경량이면서 높은 정확도를 가진 키워드 스포팅 모델을 설계하는 데 도전한다.
• 정확도, 모델 크기, 계산 비용 간의 균형을 이루는 데 어려움을 겪는 수작업으로 설계된 신경망 아키텍처의 한계를 극복한다.
• 다양한 DARTS 및 그 변종인 미분 가능 신경망 아키텍처 탐색(DARTS)을 IoT 디바이스에 효율적이고 적합한 방식으로 키워드 스포팅 작업에 적용한다.
• NoisyDARTS와 같은 강화된 DARTS 변종이 표준 DARTS보다 KWS 영역에서 더 나은 성능을 보이고 더 안정적인 아키텍처를 도출할 수 있는지 평가한다.

제안 방법

• 각 레이어가 다양한 후보 연산(예: 다양한 커널 크기, 딥웨이즈 분리형 컨볼루션 등)과 스킵 커넥션으로 구성되며, 각각의 가중치가 학습 가능한 아키텍처 파라미터 α에 의해 제어되는 TC-ResNet-SE 블록 기반의 탐색 공간을 설계한다.
• 기울기 기반 최적화를 사용하여 네트워크 가중치와 아키텍처 계수를 동시에 최적화함으로써, 단일 학습 루프 내에서 종단 간 탐색을 가능하게 하는 미분 가능 아키텍처 탐색을 사용한다.
• 기존의 불안정성 문제(예: 스킵 커넥션의 과도한 사용, 불공정한 기울기 경쟁)를 완화하기 위해 FairDARTS와 NoisyDARTS와 같은 강화된 DARTS 변종 두 가지를 적용한다.
• NoisyDARTS에서 스킵 커넥션의 특징 맵에 노이즈를 주입하여 기울기 우세도를 줄이고 탐색 안정성을 향상시킨다.
• Google Speech Commands 데이터셋 V1과 V2에서 탐색된 모델을 훈련하고 평가하여 정확도, 파라미터 수, 곱셈-덧셈 연산 수 측면에서 성능을 비교한다.
• 일회성, 가중치 공유 메커니즘을 사용하여 탐색 비용을 크게 줄여 대규모 아키텍처 공간의 효율적 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능 신경망 아키텍처 탐색이 엣지 디바이스를 위한 경량이면서 높은 정확도를 가진 키워드 스포팅 모델을 효과적으로 발견할 수 있는가?
• RQ2 FairDARTS와 NoisyDARTS와 같은 강화된 DARTS 변종이 표준 DARTS에 비해 KWS 작업에서 탐색 안정성과 성능을 어떻게 향상시키는가?
• RQ3 TC-ResNet-SE 블록 기반의 제안된 탐색 공간 설계가 수작업으로 설계된 베이스라인에 비해 정확도와 효율성 측면에서 뛰어난 아키텍처를 도출할 수 있는가?
• RQ4 NoisyDARTS에서 스킵 커넥션에 노이즈를 주입함으로써 잔여 연결에 대한 편향이 얼마나 감소하고, 탐색된 아키텍처의 품질이 어떻게 향상되는가?
• RQ5 탐색된 모델은 데이터가 증가한 V2 버전의 Speech Commands 데이터셋 간에도 잘 일반화되는가?

주요 결과

• NoisyDARTS-TC14 모델은 Google Speech Commands V2 데이터셋에서 평균 정확도 97.18%와 최고 정확도 97.44%를 기록하여, 정확도와 효율성 측면에서 이전 연구들보다 뛰어났다.
• NoisyDARTS-TC14 모델은 V1 데이터셋에서 약 10만 파라미터로 97.2%의 상위-1 정확도를 달성하였으며, 동료 방법인 NAS2의 886K 파라미터보다 훨씬 적었다.
• NoisyDARTS 변종은 NAS2 대비 평균 파라미터 수를 약 8배 감소시켜 아키텍처 탐색의 뛰어난 효율성을 입증했다.
• ROC 곡선 분석 결과, NoisyDARTS-TC14 모델은 MHAtt-RNN과 부스팅된 TC-ResNet-365K 모델보다 더 우수한 거짓 음성 대 거짓 양성의 트레이드오프를 달성했다.
• FairDARTS와 NoisyDARTS 모두 표준 DARTS에서 관찰된 스킵 커넥션 과도 사용 문제를 완화하여 더 다양한 성능이 뛰어난 아키텍처를 도출했다.
• 탐색 과정은 안정적이고 재현 가능했으며, NoisyDARTS는 여러 런에서 무작위 탐색과 표준 DARTS보다 항상 뛰어난 성능을 보였다.