[논문 리뷰] Now Playing: Continuous low-power music recognition

Arcas, Blaise Agüera y, Beat Gfeller외 9명|arXiv (Cornell University)|2017. 11. 29.

Music and Audio Processing참고 문헌 11인용 수 21

한 줄 요약

이 논문은 Now Playing을 제시하며, 음악이 감지될 경우에만 신경망 지문 검출기를 작동시키는 저전력 DSP 기반 음악 감지기로 구성된 지속적이고 온디바이스 음악 인식 시스템을 제공한다. 이는 실시간으로 개인정보를 보호하는 음악 식별을 가능하게 하며, 모바일 기기에서 하루에 1% 미만의 배터리 소모를 유발한다.

ABSTRACT

Existing music recognition applications require a connection to a server that performs the actual recognition. In this paper we present a low-power music recognizer that runs entirely on a mobile device and automatically recognizes music without user interaction. To reduce battery consumption, a small music detector runs continuously on the mobile device's DSP chip and wakes up the main application processor only when it is confident that music is present. Once woken, the recognizer on the application processor is provided with a few seconds of audio which is fingerprinted and compared to the stored fingerprints in the on-device fingerprint database of tens of thousands of songs. Our presented system, Now Playing, has a daily battery usage of less than 1% on average, respects user privacy by running entirely on-device and can passively recognize a wide range of music.

연구 동기 및 목표

• 사용자 상호작용이나 인터넷 연결 없이도 모바일 기기에서 지속적이고 수동적인 음악 인식을 가능하게 하기 위해.
• 음악 감지를 전용 DSP 칩에 위임하여 배터리 소모를 최소화하고, 음악이 감지될 경우에만 메인 프로세서를 깨우기 위해.
• 모든 오디오 처리 및 지문 매칭이 완전히 기기 내에서 이루어지며 서버에 데이터를 전송하지 않도록 함으로써 사용자 개인정보를 보호하기 위해.
• 작은 크기의 96차원 신경망 지문 검출기와 효율적인 기기 내 지문 매칭을 통해 높은 인식 정확도를 달성하기 위해.
• 모바일 환경의 제약을 감안해 지문 크기와 데이터베이스 압축 최적화를 통해 저장 효율성과 인식 성능 사이의 최적 균형을 이루기 위해.

제안 방법

• 신경망 지문 검출기(NNFP)는 짧은 오디오 세그먼트에서 매 초마다 96차원 임베딩을 생성하며, 같은 곡에 대해 구별 가능한 유사도를 확보하기 위해 트리플릿 손실을 사용해 훈련된다.
• 경량 음악 감지기가 지속적으로 DSP 칩에서 실행되어 오디오 스트림을 분석하고, 음악이 확실하게 감지될 경우에만 메인 프로세서를 작동시킨다.
• 감지기 예측의 슬라이딩 윈도우 평균을 몇 초 동안 사용하며, 임계값을 초과하는 연속된 c개의 고신뢰도 감지 결과가 있어야 인식이 트리거된다.
• 지문 매칭은 근사 최근접 이웃 검색을 통해 효율적으로 수행되며, 이후 정밀한 점수 평가를 통해 기기 내 데이터베이스의 수천 개의 지문에서 곡을 식별한다.
• 지문 데이터베이스는 압축 전략을 통해 저장 공간을 줄이되, 인식 정확도는 유지하며, 평균적으로 각 곡이 3KB 미만의 공간을 차지한다.
• 전체 시스템은 저정밀도 모바일 하드웨어에 배포된 것을 시뮬레이션하기 위해 양자화된 활성화를 사용해 훈련되어 에너지 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 서버 측 처리에 의존하지 않고도 모바일 기기 내에서 지속적이고 저전력 음악 인식 시스템을 완전히 구현할 수 있는가?
• RQ2 모바일 배포를 고려할 때 지문 크기, 인식 정확도, 기기 내 저장 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 배경 소음이 존재하는 실제 오디오 환경에서 충분한 재현율을 유지하면서도 거짓 긍정을 최소화할 수 있도록 음악 감지기를 어떻게 설계할 수 있는가?
• RQ4 실제 사용 조건에서 완전히 온디바이스 음악 인식 시스템의 구현 가능한 배터리 소모는 어느 정도인가?
• RQ5 신경망 기반 지문 생성 및 매칭을 어떻게 최적화하여 저전력, 실시간 성능을 모바일 DSP 및 애플리케이션 프로세서에서 달성할 수 있는가?

주요 결과

• 시스템은 하루에 23.5 mAh의 배터리 소모를 기록하며, 이는 Pixel 2의 2700 mAh 배터리의 약 0.9%에 해당하며, 하루 평균 100회 이하의 웨이크업만 발생한다.
• 96차원 지문 모델은 128차원 모델에 비해 정확도/재현율 성능이 약간 떨어지지만, 저장 공간을 30% 줄이는 데 성공한다.
• 음악 감지기는 다양한 배경 소음이 포함된 450시간 테스트 세트에서 75.5%의 재현율을 달성했으며, 비침묵 오디오에서 약 20분마다 한 번 정도의 거짓 긍정률을 유지한다.
• 신경망 지문 검출기는 매 초마다 하나의 96차원 임베딩을 생성하여 최소 지연 시간으로 실시간 처리를 가능하게 한다.
• 모든 처리 및 데이터 저장이 기기 내에서 이루어지며, 사용자 상호작용 없이 수동적이고 지속적인 음악 인식이 성공적으로 이루어졌다.
• DSP 기반 게이트키퍼의 사용으로 전체 전력 소모가 0.4 mA 이하의 스탠바이 전력 증가로 줄었으며, 추가 전력 소모는 단지 짧은 응용 프로세서 웨이크업 동안에만 발생한다.