[論文レビュー] AI-as-a-Service Toolkit for Human-Centered Intelligence in Autonomous Driving

Valerio De, Saira Bano+12 more|arXiv (Cornell University)|Feb 3, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本論文は、ウェアラブルセンサーからの即時のストレス検出と顔面分析を強化学習ベースのドライブスタイルのパーソナライゼーションと統合することで、自律走行における人間中心の知能を可能にするAIaaS（AI as a Service）ツールキットを提示する。このシステムは、生理的および視覚的情報を用いて、車両の挙動（慎重、通常、攻撃的）をCARLAシミュレーション内で適応的に変更し、適応的AI制御によってドライバーのストレスを低減することを実証した。

ABSTRACT

This paper presents a proof-of-concept implementation of the AI-as-a-Service toolkit developed within the H2020 TEACHING project and designed to implement an autonomous driving personalization system according to the output of an automatic driver's stress recognition algorithm, both of them realizing a Cyber-Physical System of Systems. In addition, we implemented a data-gathering subsystem to collect data from different sensors, i.e., wearables and cameras, to automatize stress recognition. The system was attached for testing to a driving simulation software, CARLA, which allows testing the approach's feasibility with minimum cost and without putting at risk drivers and passengers. At the core of the relative subsystems, different learning algorithms were implemented using Deep Neural Networks, Recurrent Neural Networks, and Reinforcement Learning.

研究の動機と目的

• サイバーフィジカルシステム・オブ・システムズ（CPSoS）における人間中心の適応を可能にするAIaaSソフトウェアツールキットの開発。
• 即時の生理的および視覚的情報を統合し、ドライバーのストレスレベルを推定して適応的システム反応を実現すること。
• 検出された認知状態に基づいて自律走行行動をパーソナライズする強化学習エージェントの実装。
• 合成可能でハードウェアに依存しない学習モジュールを用いて、プライバシー配慮型でエッジ互換性のあるAIデプロイメントの実現。
• リアルタイムフィードバックループを備えたシミュレーテッド環境を用いて、自律走行における人間的知能の実現可能性を実証すること。

提案手法

• 生理的状態モニタリングのため、Shimmer3 GSR+デバイスを用いて皮膚抵抗反応（GSR）および光容積脈波計測（PPG）信号を収集した。
• OpenFaceを用いて動画データから68個の顔面特徴点、頭部姿勢、注視方向を抽出し、感情的および認知的状態を推定した。
• MQTTおよびMosquittoを用いたデータブローカリングシステムを実装し、センサーと学習モジュール間の発行/購読通信を可能にした。
• WESADデータセットを用いてエコー状態ネットワーク（ESN）を訓練し、GSR信号からの即時のストレスレベル推定を実現した。
• アクター・クリティックアルゴリズムを用いて、予測されたストレスレベルに基づきドライブプロファイル（慎重、通常、攻撃的）を選択する強化学習エージェントを設計した。
• AIaaSフレームワークをCARLA自律走行シミュレータと統合し、車両挙動の制御とシミュレーション中のフィードバックデータ収集を実現した。

実験結果

リサーチクエスチョン

• RQ1 AIaaSツールキットは、人間の認知的および感情的状態に基づいて、自律走行行動の即時的で適応的なパーソナライゼーションをどのように可能にするか？
• RQ2 生理的信号（例：GSR）および顔面特徴（例：注視、表情）を用いて、シミュレーテッド走行環境でドライバーのストレスをどの程度正確に推定できるか？
• RQ3 強化学習は、安全性とパフォーマンスを維持しつつ、ドライバーの感じられるストレスを低減するようにドライブ行動を効果的に調整できるか？
• RQ4 モジュラーで合成可能かつハードウェアに依存しないAIaaSアーキテクチャは、CPSoS応用における異種センサーおよび学習モデルの統合をどのように支援できるか？
• RQ5 エッジコンピューティングに配慮したAIサービスを用いて、自律システムに人間のフィードバックループを統合する際の技術的およびアーキテクチャ的課題は何か？

主な発見

• AIaaSツールキットは、シミュレーテッド走行中の継続的ストレスモニタリングを実現するため、ウェアラブルセンサーおよび視覚的情報の即時の統合に成功した。
• エコー状態ネットワーク（ESN）は、GSR信号からのストレスレベルの即時の推定に効果を示し、エッジデプロイメントに適していることが実証された。
• 強化学習エージェントは、ストレスレベルを低減するドライブプロファイルの選択を効果的に学習した。特に、慎重なプロファイルがストレス指標に最も肯定的な影響を示した。
• MQTTベースのデータブローカリングの使用により、AIaaSフレームワーク内における分散型センシングモジュールと学習モジュール間の効率的かつ分離された通信が実現された。
• CARLAとの統合により、低コストで安全かつスケーラブルな人間中心のAIシステムの検証が可能となり、この手法の実現可能性が確認された。
• AIaaSツールキットのモジュラー設計により、学習モジュールおよびセンサーのプラグアンドプレイ型デプロイメントが可能となり、異なるハードウェアプラットフォーム間での再利用性およびポータビリティが向上した。