[論文レビュー] Lifelong Testing of Smart Autonomous Systems by Shepherding a Swarm of Watchdog Artificial Intelligence Agents

Hussein A. Abbass, John D. Harvey+1 more|arXiv (Cornell University)|Dec 21, 2018

Human-Automation Interaction and Safety参考文献 16被引用数 11

ひとこと要約

本稿では、生涯にわたりスマート自律システム（SAS）を監視・継続的テストするためのウォッチドッグ人工知能（WAI）エージェントの群れを提案する。適応的で自己検証可能なセーフティネットとして機能することで、WAIエージェントはSASの行動をリアルタイムで監視し、倫理的かつ安全な行動を強制し、故障したシステムを停止できる。これにより、動的かつ現実世界の環境において信頼できる進化を遂げるAIの実現が可能になる。

ABSTRACT

Artificial Intelligence (AI) technologies could be broadly categorised into Analytics and Autonomy. Analytics focuses on algorithms offering perception, comprehension, and projection of knowledge gleaned from sensorial data. Autonomy revolves around decision making, and influencing and shaping the environment through action production. A smart autonomous system (SAS) combines analytics and autonomy to understand, learn, decide and act autonomously. To be useful, SAS must be trusted and that requires testing. Lifelong learning of a SAS compounds the testing process. In the remote chance that it is possible to fully test and certify the system pre-release, which is theoretically an undecidable problem, it is near impossible to predict the future behaviours that these systems, alone or collectively, will exhibit. While it may be feasible to severely restrict such systems extquoteright \ learning abilities to limit the potential unpredictability of their behaviours, an undesirable consequence may be severely limiting their utility. In this paper, we propose the architecture for a watchdog AI (WAI) agent dedicated to lifelong functional testing of SAS. We further propose system specifications including a level of abstraction whereby humans shepherd a swarm of WAI agents to oversee an ecosystem made of humans and SAS. The discussion extends to the challenges, pros, and cons of the proposed concept.

研究の動機と目的

• 継続的に学習・進化するスマート自律システム（SAS）のテストに直面する課題に取り組む。従来のリリース前テストでは不十分である。
• 静的検証やブラックボックステストの限界を乗り越え、SAS行動の継続的かつランタイムでの検証を可能にする。
• 仕様が不完全で変動し続ける社会的・技術的環境において、SASの長期的安心性と信頼性を確保する。
• SAS開発と安全認証を分離するため、独立的で適応可能なウォッチドッグエージェントを導入する。
• 複雑で進化を遂げる自律システムをリアルタイムで監視できる、スケーラブルで階層的なアーキテクチャを提供する。

提案手法

• スマート自律システム（SAS）の生涯的で自律的なテストエージェントとして機能するウォッチドッグAI（WAI）エージェントのアーキテクチャを提案する。
• 生物学的群れの導く行動（特にヤギを群れで導くサケスケッチ）を模倣し、シーラーWAIがBSSN（行動的安全性および監視ネットワーク）WAIエージェントの群れを監視する。
• BSSN WAIエージェントを、適応的で慎重かつ検証可能なテストエージェントとして実装し、SASの意思決定が安全性、倫理的配慮、システムへの影響を満たしているかを監視する。
• 標準化された実験的文脈を用いて、多様な運用シナリオにおいてSAS行動を評価し、一貫性があり再現可能なテストを可能にする。
• 内部状態へのアクセスが不可能であっても、SASの入出力を照会することで、未知のSASの行動空間を動的に推定できる。
• WAIエージェントの階層的組織化を統合し、複雑なマルチエージェントSASエコシステムにおける監視をスケーラブルにし、行動集約における組み合わせ的複雑性を管理する。

実験結果

リサーチクエスチョン

• RQ1 行動が時間とともに進化する人工知能システムを、その運用寿命にわたり継続的にテストする方法は何か？
• RQ2 内部状態やソースコードへのアクセスがなくとも、ウォッチドッグエージェントが自律システムを監視できるアーキテクチャ的および運用的原則は何か？
• RQ3 リアルタイムで未知のSAS行動に適応しながら、検証可能で慎重な行動を維持するにはどうすればよいか？
• RQ4 一見無害な行動の長期的・累積的影響を検出・是正するためのメカニズムは何か？
• RQ5 高速で計算的なウォッチドッグシステムに人的監視を効果的に統合するには、遅延や一貫性の欠如を避けるにはどうすればよいか？

主な発見

• 提案されたWAIアーキテクチャにより、適応的で行動監視を行うウォッチドッグエージェントの群れを導入することで、スマート自律システム（SAS）の生涯的でリアルタイムの機能的テストが可能になる。
• BSSN WAIエージェントは、予め定義された安全基準や倫理的境界を超えたSAS行動が発生した場合に、制御または停止を可能にする、慎重で検証可能なセーフティネットとして機能する。
• 本システムにより、SAS開発と安全認証の分離が実現され、SAS設計者が自由にイノベートできる一方で、WAIエージェントが継続的な信頼性を確保する。
• 内部システムへのアクセスがなくても、照会と標準化された実験的文脈を用いることで、ウォッチドッグエージェントは未知のSASの行動空間を推定できる。
• WAIエージェントの階層的組織化により、複雑なマルチエージェント環境におけるスケーラビリティが実現されるが、行動空間の組み合わせ的複雑性の管理には課題が残る。
• 人的監視をシーラーWAI役割として統合することが高リスクな文脈では必要であると判明したが、計算エージェントとの速度および一貫性の不一致が課題を引き起こす。