[논문 리뷰] Small-footprint Keyword Spotting with Graph Convolutional Network

Xi Chen, Shouyi Yin외 4명|arXiv (Cornell University)|2019. 12. 11.

Text and Document Classification Technologies참고 문헌 24인용 수 7

한 줄 요약

이 논문은 스펙트로그램 특징 간의 장거리 의존성을 포착하기 위해 그래프 컨volution 네트워크(GCN)를 사용하는 컴act하고 컨텍스트 인식 키워드 스트링 모델을 제안한다. 잔차 버스트 아키텍처(CENet)에 GCN을 통합함으로써, 이전 방법들보다 더 낮은 계산 비용과 더 작은 모델 크기로 Google Speech Commands 데이터셋에서 최고의 정확도를 달성한다.

ABSTRACT

Despite the recent successes of deep neural networks, it remains challenging to achieve high precision keyword spotting task (KWS) on resource-constrained devices. In this study, we propose a novel context-aware and compact architecture for keyword spotting task. Based on residual connection and bottleneck structure, we design a compact and efficient network for KWS task. To leverage the long range dependencies and global context of the convolutional feature maps, the graph convolutional network is introduced to encode the non-local relations. By evaluated on the Google Speech Command Dataset, the proposed method achieves state-of-the-art performance and outperforms the prior works by a large margin with lower computational cost.

연구 동기 및 목표

• 저전력 장치에서 낮은 지연 시간과 작은 모델 크기로 높은 정확도의 키워드 스트링을 달성하는 데 도전한다.
• 표준 CNN과 RNN이 효과적으로 포착하지 못하는 컨volution 특징 맵 내의 장거리 컨텍스트 모델링을 향상시킨다.
• 높은 탐지 정확도를 유지하면서도 현장에 배포 가능한 컴팩트하고 효율적인 신경망 아키텍처를 설계한다.
• 전역적 특징 컨텍스트 인코딩을 위해 키워드 스트링에 그래프 컨볼루션 네트워크(GCN)의 통합을 탐색한다.
• 네트워크의 다양한 잔차 블록에 GCN 모듈을 배치했을 때의 효과를 평가한다.

제안 방법

• 모델 복잡도와 파라미터 수를 줄이기 위해 잔차 연결과 버스트 모듈을 기반으로 한 컴팩트한 컨volution 네트워크(CENet)를 제안한다.
• 유사도 기반 가중치를 사용해 모든 위치의 특징을 집계함으로써 비국소적이고 장거리 의존성을 모델링하기 위해 주목력 메커니즘을 갖춘 그래프 컨볼루션 네트워크(GCN) 모듈을 도입한다.
• 특징 표현을 다수 수준의 맥락 정보로 풍부하게 하기 위해 GCN 모듈을 여러 잔차 스테이지(스테이지-1, -2, -3)에 적용한다.
• 유사도 기반으로 다른 모든 위치의 가중치 특징을 집계하여 각 특징 맵 위치를 업데이트하는 메시지 전달 메커니즘을 GCN에 사용한다.
• 멜 주파수 페르스터컬 계수(MFCC)와 필터뱅크(fbank) 특징을 입력으로 사용하며, fbank가 일관되게 0–1.0%의 정확도 향상을 보인다.
• Google Speech Commands 데이터셋에서 모델을 엔드 투 엔드로 훈련하고, 정확도, 오발동작율(FAR), 오기각률(FRR)을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 컴팩트하고 경량화된 신경망 아키텍처가 자원 제약이 있는 장치에서 최고 수준의 키워드 스트링 성능을 달성할 수 있는가?
• RQ2 그래프 컨볼루션 네트워크를 통합함으로써 스펙트로그램 특징의 장거리 맥락 모델링이 향상되는가?
• RQ3 네트워크 아키텍처에서 GCN 모듈이 성능 향상에 가장 효과적인 위치는 어디인가—초기, 중간, 또는 후기 레이어인가?
• RQ4 정확도, 파라미터 수, 계산 비용 측면에서 GCN 기반 접근법은 이전 방법들과 어떻게 비교되는가?
• RQ5 MFCC 대신 fbank 특징을 사용하면 제안된 모델의 성능이 향상되는가?

주요 결과

• 제안된 CENet-GCN-6 모델은 Google Speech Commands 데이터셋에서 95.2%의 정확도를 달성하여 기준 모델인 CENet-6(93.9%)보다 1.3%p 높고, 이전 최고 성능 기록보다 1.0%p 향상되었다.
• GCN 모듈을 스테이지-2에 삽입할 경우 가장 높은 단일 스테이지 성능 향상이 이루어져 정확도가 1.1%p 향상되었다.
• 모든 세 개의 잔차 스테이지(1, 2, 3)에 GCN를 추가하면 최고의 성능(95.2%)을 기록하여 다수 수준의 맥락적 특징 강화의 이점이 입증되었다.
• GCN 모듈은 모델 파라미터를 11.4K(16.2K에서 27.6K로) 증가시키고 계산 비용을 32% 증가시켰지만(1.95M에서 2.55M FLOPs로), 높은 효율성을 보였다.
• fbank 입력을 사용한 모델은 모든 변형에서 MFCC 입력보다 0–1.0% 높은 성능를 보였으며, 이는 fbank 특징이 스펙트럼-시간 상관관계를 더 잘 유지함을 시사한다.
• 시각화 및 ROC 곡선 분석을 통해 GCN이 특징 맵의 분류 능력 있는 영역을 강화하고, 특히 낮은 임계값에서 오발동작율과 오기각률을 감소시킴을 확인했다.