[論文レビュー] Human-In-The-Loop Machine Learning for Safe and Ethical Autonomous Vehicles: Principles, Challenges, and Opportunities

Yousef Emami, Lúıs Almeida+3 more|arXiv (Cornell University)|Aug 22, 2024

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本稿では、カリキュラム学習、強化学習、アクティブラーニングに人間の専門知識を統合することで、安全で倫理的な自律走行車両のためのヒューマンインザループ機械学習（HITL-ML）を提案する。人的監視を通じてモデルの頑健性、倫理的意思決定、一般の信頼を向上させ、安全性、セキュリティ、規制フレームワークにおける主な貢献を果たす。

ABSTRACT

Rapid advances in Machine Learning (ML) have triggered new trends in Autonomous Vehicles (AVs). ML algorithms play a crucial role in interpreting sensor data, predicting potential hazards, and optimizing navigation strategies. However, achieving full autonomy in cluttered and complex situations, such as intricate intersections, diverse sceneries, varied trajectories, and complex missions, is still challenging, and the cost of data labeling remains a significant bottleneck. The adaptability and robustness of humans in complex scenarios motivate the inclusion of humans in the ML process, leveraging their creativity, ethical power, and emotional intelligence to improve ML effectiveness. The scientific community knows this approach as Human-In-The-Loop Machine Learning (HITL-ML). Towards safe and ethical autonomy, we present a review of HITL-ML for AVs, focusing on Curriculum Learning (CL), Human-In-The-Loop Reinforcement Learning (HITL-RL), Active Learning (AL), and ethical principles. In CL, human experts systematically train ML models by starting with simple tasks and gradually progressing to more difficult ones. HITL-RL significantly enhances the RL process by incorporating human input through techniques like reward shaping, action injection, and interactive learning. AL streamlines the annotation process by targeting specific instances that need to be labeled with human oversight, reducing the overall time and cost associated with training. Ethical principles must be embedded in AVs to align their behavior with societal values and norms. In addition, we provide insights and specify future research directions.

研究の動機と目的

• 訓練データが稀な行動や文化的に特異な行動をカバーしない複雑な現実世界の走行状況において、完全に自律なMLの限界を是正すること。
• カリキュラム学習、強化学習、アクティブラーニングのワークフローに人的フィードバックを統合することで、モデルの汎化性能と安全性を向上させること。
• 人的監視による道徳的推論と文脈的判断の統合を通じて、AVの行動を社会的規範と整合させる。
• 人的監視を備えたセキュアで説明可能かつ説明責任のあるHITL-MLシステムを構築し、バイアスを最小限に抑えつつ規制適合を確保すること。

提案手法

• 段階的学習（CL）を採用し、単純なタスクから都市部の複雑な交差点に至るまで、徐々に複雑化する走行シナリオにわたってAVモデルを訓練する。
• 報酬設計、アクションのインジェクション、インタラクティブ学習を用いたヒューマンインザループ強化学習（HITL-RL）を統合し、人的フィードバックによるポリシー学習の最適化を実現する。
• 不確実性や曖昧性の高いデータサンプルを優先して人的ラベリングを行うアクティブラーニング（AL）を適用し、ラベル付けコストを削減するとともに、モデルの効率を向上させる。
• 報酬関数と行動ポリシーに人間が定義した価値観や規範を組み込むことで、AV意思決定における倫理的原則の統合を実現する。
• セッション乗っ取りや改ざんを防止するため、エンドツーエンド暗号化、双方向認証、および後量子暗号（例：リング学習誤差）を含む堅牢なセキュリティメカニズムを実装する。
• 人的オペレータの責任を明確にし、法的責任を確保するとともに、HITL-MLシステムにおけるプライバシー保護を目的とした規制および文書化フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 ヒューマンインザループメカニズムは、複雑で現実的な走行環境における自律走行車両の安全性と適応性をどのように向上させるか？
• RQ2 AVが避けられない事故状況において、人的フィードバックは倫理的意思決定をどのように強化するか？
• RQ3 アクティブラーニングとカリキュラム学習は、データラベリングコストを削減しつつ、自動走行におけるモデル性能をどのように向上させるか？
• RQ4 HITL-MLパイプラインにおけるサイバー脅威から人的オペレータおよびAVシステムを保護するためのセキュリティおよびプライバシー対策として、どのような仕組みが必要か？
• RQ5 HITL-MLを搭載した自律走行車両において、説明責任、透明性、倫理的適合性を確保するための規制フレームワークは、どのように設計すべきか？

主な発見

• HITL-RLは、特になじみのない交通行動のようなエッジケースにおいて、報酬関数の人的監視による最適化を可能にすることで、安全性と一般の信頼を顕著に向上させる。
• アクティブラーニングは、人的ラベリングに向けた情報量の多いサンプルを優先することで、物体検出、異常検出、セマンティックマッピングの分野でラベル付けコストを削減し、性能向上を実現する。
• カリキュラム学習は、単純なタスクから複雑な走行タスクへと訓練を構造化することで、多様な環境下での汎化性能を向上させ、モデルの収束性と性能を向上させる。
• 適切に検証された人的入力は、標準でない交通ルールや文化的な運転習慣が見られる地域において、AVの状況理解および自己認識能力を強化する。
• セッション乗っ取りを防止し、安全な人間・機械間相互作用を確保するため、後量子暗号および相互認証を含む堅牢なセキュリティプロトコルが不可欠である。
• 人的オペレータの役割、干渉プロトコル、データ説明責任を明確に定義する規制フレームワークは、HITL-MLが自律走行車両に導入される際の法的適合性と一般の受容性を確保する上で極めて重要である。