[論文レビュー] DSP.Ear: Leveraging Co-Processor Support for Continuous Audio Sensing on Smartphones

Petko Georgiev, Nicholas D. Lane+2 more|arXiv (Cornell University)|Sep 10, 2014

Music and Audio Processing参考文献 25被引用数 5

ひとこと要約

DSP.Ear は、低消費電力の DSP コプロセッサを活用するスマートフォンセンシングシステムであり、感情検出、話者数の特定、周囲の音声分類などの連続的かつ同時な音声推論を可能にするとともに、CPU 僅在过渡期での動作と比較して 3–7× のエネルギー消費削減を実現する。パイプラインのインタリーブ最適化、モデルのコンパクト化、選択的 CPU オフロードにより、80–90% の日常的使用シナリオで1日分の動作を実現し、バッテリーへの影響を最小限に抑える。

ABSTRACT

The rapidly growing adoption of sensor-enabled smartphones has greatly fueled the proliferation of applications that use phone sensors to monitor user behavior. A central sensor among these is the microphone which enables, for instance, the detection of valence in speech, or the identification of speakers. Deploying multiple of these applications on a mobile device to continuously monitor the audio environment allows for the acquisition of a diverse range of sound-related contextual inferences. However, the cumulative processing burden critically impacts the phone battery. To address this problem, we propose DSP.Ear - an integrated sensing system that takes advantage of the latest low-power DSP co-processor technology in commodity mobile devices to enable the continuous and simultaneous operation of multiple established algorithms that perform complex audio inferences. The system extracts emotions from voice, estimates the number of people in a room, identifies the speakers, and detects commonly found ambient sounds, while critically incurring little overhead to the device battery. This is achieved through a series of pipeline optimizations that allow the computation to remain largely on the DSP. Through detailed evaluation of our prototype implementation we show that, by exploiting a smartphone's co-processor, DSP.Ear achieves a 3 to 7 times increase in the battery lifetime compared to a solution that uses only the phone's main processor. In addition, DSP.Ear is 2 to 3 times more power efficient than a naive DSP solution without optimizations. We further analyze a large-scale dataset from 1320 Android users to show that in about 80-90% of the daily usage instances DSP.Ear is able to sustain a full day of operation (even in the presence of other smartphone workloads) with a single battery charge.

研究の動機と目的

• スマートフォンにおける連続的音声センシングの高コストなエネルギー消費を低減し、リアルタイムの行動推論アプリケーションの導入を可能にする。
• 一般のスマートフォンのコプロセッサ（例：Qualcomm Hexagon DSP）が複数の複雑な音声推論パイプラインを同時にサポートできるかを調査する。
• CPU への依存を最小限に抑えながら DSP に計算をオフロードすることでエネルギー効率を最大化するシステムを設計・実装する。
• 1,320 名の Android ユーザーから得た大規模なユーザーデータセットを用いて、実世界の条件下でのシステムのパフォーマンスとバッテリー効率を評価する。
• モバイルデバイス上で持続的・長時間にわたる音声センシングを実現するための重要な最適化を同定する。

提案手法

• 本システムは、周囲のノイズ分類、性別認識、話者数の特定、話者識別、感情認識の5つの既存の音声推論パイプラインを統合している。
• 主に DSP 上で実行されるパイプライン最適化戦略を採用し、タスクのインタリーブ実行を可能にすることで CPU の関与を削減している。
• アドミッションフィルタを用いて音声入力を事前にスクリーニングし、不要な処理を回避することで DSP リソースを節約している。
• 音声検出器の局所性を活用して類似した推論タスクをグループ化し、DSP 上のコンテキストスイッチングのオーバーヘッドを低減している。
• パイプライン間の最適化を適用し、特徴抽出およびモデル推論段階を複数のパイプラインで共有することで、計算リユースを向上させている。
• CPU オフロードは、モデルの読み込みや複雑な後処理など、必要最小限の場面でのみ実施し、エネルギー消費を低く保っている。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンの低消費電力 DSP コプロセッサが、顕著なエネルギーオーバーヘッドを伴わずに、複数の同時で複雑な音声推論パイプラインを効率的にサポートできるか。
• RQ2 アドミッションフィルタリング、モデルのコンパクト化、パイプライン間共有といったさまざまなシステム最適化が、連続的音声センシングのエネルギー効率とバッテリー寿命に与える影響はいかほどか。
• RQ3 DSP.Ear は、CPU 僅在过渡期や単純な DSP 僅在过渡期のデプロイメントと比較して、実世界の使用シナリオでどれほど長時間の動作を維持できるか。
• RQ4 他のワークロードが存在する状況下で、コプロセッサベースのセンシングがデバイス全体のバッテリー寿命に与える影響は。
• RQ5 本システムのパフォーマンスは、多様な実世界のユーザ環境や使用パターンにおいて、どのようにスケーリングするか。

主な発見

• DSP.Ear は、すべての処理をメイン CPU で実行するベースラインソリューションと比較して、バッテリー寿命を 3–7 倍改善している。
• 最適化手法を適用しない単純な DSP 僅在过渡期のデプロイメントと比較して、2–3 倍のエネルギー効率が向上している。
• 日常使用の 80–90% のインスタンスにおいて、DSP.Ear は同時に他のデバイスワークロードが稼働していても、1日分の連続動作を1回の充電で実現できる。
• コンパクトな分類モデルの使用と選択的 CPU オフロードにより、DSP 上のメモリ圧力とエネルギー消費が顕著に低減されている。
• パイプライン間最適化と局所性を考慮したタスクスケジューリングにより、コンテキストスイッチングが低減され、コプロセッサ上の計算リユースが向上している。
• 本システムは、カスタムハードウェアやクラウドオフロードを必要とせず、一般のスマートフォンに搭載された DSP コプロセッサが、複雑で並列な音声センシングを実現できることを示している。