[論文レビュー] Science Driven Innovations Powering Mobile Product: Cloud AI vs. Device AI Solutions on Smart Device

Deguang Kong|arXiv (Cornell University)|Nov 20, 2017

IoT and Edge/Fog Computing参考文献 33被引用数 8

ひとこと要約

本論文は、ビッグデータ科学、ディープラーニング、ユーザーモデリングを活用して、ユーザーエンゲージメント、パーソナライゼーション、システムパフォーマンスを向上させる、サイエンスドリブンなフレームワークを提示する。主な貢献は、スケーラブルなレコメンデーションシステム、プライバシーを守るデバイス内推論、リアルタイム応答性とユーザ満足度を向上させるハイブリッドクラウド・デバイスアーキテクチャである。

ABSTRACT

Recent years have witnessed the increasing popularity of mobile devices (such as iphone) due to the convenience that it brings to human lives. On one hand, rich user profiling and behavior data (including per-app level, app-interaction level and system-interaction level) from heterogeneous information sources make it possible to provide much better services (such as recommendation, advertisement targeting) to customers, which further drives revenue from understanding users' behaviors and improving user' engagement. In order to delight the customers, intelligent personal assistants (such as Amazon Alexa, Google Home and Google Now) are highly desirable to provide real-time audio, video and image recognition, natural language understanding, comfortable user interaction interface, satisfactory recommendation and effective advertisement targeting. This paper presents the research efforts we have conducted on mobile devices which aim to provide much smarter and more convenient services by leveraging statistics and big data science, machine learning and deep learning, user modeling and marketing techniques to bring in significant user growth and user engagement and satisfactions (and happiness) on mobile devices. The developed new features are built at either cloud side or device side, harmonically working together to enhance the current service with the purpose of increasing users' happiness. We illustrate how we design these new features from system and algorithm perspective using different case studies, through which one can easily understand how science driven innovations help to provide much better service in technology and bring more revenue liftup in business. In the meantime, these research efforts have clear scientific contributions and published in top venues, which are playing more and more important roles for mobile AI products.

研究の動機と目的

• データドリブンなパーソナライゼーションを通じて、モバイルユーザーエンゲージメントと満足度を向上させるサイエンスドリブンなAIソリューションの開発。
• モバイルAIにおけるリソース制限とレイテンシの課題に、クラウドとデバイス内計算のバランスを取ることで対処。
• AI駆動のリスク評価と行動分析を通じて、モバイルアプリのセキュリティ、ユーザーゲーリング、収益化の向上。
• 重要な推論タスクをモバイルデバイス上で直接実行できる、効率的でプライバシーを守るAIシステムの設計。
• クラウドベースのトレーニングとデバイス内推論を統合し、生産環境のモバイルシステムにおいてリアルタイムでスケーラブルで信頼性の高いAIサービスを実現。

提案手法

• リスク評価および悪意あるアプリ検出のため、アプリの説明文、ユーザーレビュー、パーミッション、広告ライブラリなどのマルチモーダル特徴を統合した手法を採用。
• 対話システムにおける自然言語理解、品詞タギング、文法解析のため、GoogLeNet や LSTM などのディープラーニングモデルを適用。
• アイテム特徴、人口統計学的データ、行動データに基づくユーザープレファレンスをモデル化するため、『ランク学習』関数を用いた分散機械学習フレームワークを活用。
• Q関数最適化とポリシー学習（π(s)）を用いたディープ強化学習を実装し、対話システムの意思決定と報酬最大化を改善。
• クラウドは複雑なトレーニングとモデルチューニングを担当し、デバイスは低レイテンシ推論を実行することでプライバシーと応答性を確保する、ハイブリッドクラウド・デバイスAIアーキテクチャを設計。
• リソース制限のあるモバイルデバイスでも効率的なディープラーニング推論を可能にするために、モデル圧縮および最適化技術を活用。

実験結果

リサーチクエスチョン

• RQ1 クラウドとデバイスAIをどのように調和的に統合することで、リアルタイム性、プライバシー、高いパフォーマンスを備えたモバイルAIサービスを提供できるか？
• RQ2 悪意あるアプリの検出およびユーザ生成コンテンツからのリスク評価に最も効果的なマルチモーダル特徴と機械学習技術は何か？
• RQ3 ディープラーニングと強化学習は、自然言語理解およびユーザーアクセスの向上において、対話システムのパフォーマンスをどのように改善できるか？
• RQ4 ユーザーモデリングおよび埋め込みベースの表現は、レコメンデーション精度とユーザーエンゲージメントを向上させるために果たす役割は何か？
• RQ5 デバイス内AI推論は、モバイルアプリケーションにおけるプライバシー保護、レイテンシ低減、ネットワーク帯域幅最適化をどのように改善できるか？

主な発見

• クラウドベースのトレーニングとデバイス内推論の統合により、アシスタントなどのリアルタイムサービスにおける応答時間とシステム信頼性が顕著に向上した。
• アプリの説明文、ユーザーレビュー、パーミッションデータを用いたマルチモーダルリスク評価は、従来のシグネチャベース手法を上回る悪意あるアプリ検出精度を実現した。
• GoogLeNet や LSTM などのディープラーニングモデルは、対話システムにおける自然言語理解および品詞タギングのパフォーマンスを向上させた。
• Q関数最適化を用いたディープ強化学習の適用により、より効果的で適応性の高い対話ポリシーが実現され、会話型AIにおけるユーザ満足度が向上した。
• ワイド・ディープニューラルネットワークを用いた分散型ランク学習フレームワークは、モバイルプラットフォームにおけるレコメンデーション精度とユーザーエンゲージメントを向上させた。
• デバイス内推論の導入により、ネットワーク接続への依存が軽減され、ユーザープライバシーが強化され、モバイルAIワークロードにおける帯域幅使用量が削減された。