[論文レビュー] Explainable Artificial Intelligence (XAI) for Internet of Things: A Survey

İbrahim Kök, Feyza Yıldırım Okay+2 more|arXiv (Cornell University)|Jun 7, 2022

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本論文は、インテリジェントなシステムにおける透明性、信頼性、解釈可能性を高めるために、インテリジェントなシステムにおける説明可能な人工知能（XAI）の包括的サーベイを提示している。XAI技術、それらのIoTアプリケーションへの統合、および主な課題を分析している。本論文は、IoT分野におけるXAI手法の体系的分類を提案し、信頼性、セキュリティ、説明可能性メトリクスといった未解決の問題を特定し、分散型IoTシステムにおける解釈可能で安全かつ用途特化型のAIのための今後の研究方向性を提示している。

ABSTRACT

Black-box nature of Artificial Intelligence (AI) models do not allow users to comprehend and sometimes trust the output created by such model. In AI applications, where not only the results but also the decision paths to the results are critical, such black-box AI models are not sufficient. Explainable Artificial Intelligence (XAI) addresses this problem and defines a set of AI models that are interpretable by the users. Recently, several number of XAI models have been to address the issues surrounding by lack of interpretability and explainability of black-box models in various application areas such as healthcare, military, energy, financial and industrial domains. Although the concept of XAI has gained great deal of attention recently, its integration into the IoT domain has not yet been fully defined. In this paper, we provide an in-depth and systematic review of recent studies using XAI models in the scope of IoT domain. We categorize the studies according to their methodology and applications areas. In addition, we aim to focus on the challenging problems and open issues and give future directions to guide the developers and researchers for prospective future investigations.

研究の動機と目的

• IoT分野におけるXAI統合に関する包括的サーベイが不足しているという問題に対処すること。
• 分野に新たに参入する研究者向けに、XAI用語、分類、手法を明確にすること。
• スマートシティ、医療、産業システムなどのIoTユースケースにおける現在のXAIアプリケーションを分析すること。
• 信頼性、セキュリティ、説明可能性メトリクスといった、XAIにおける重要な課題を特定すること。
• 分散型IoTアーキテクチャにおけるスケーラブルで安全かつ用途特化型のXAIを実現するための今後の研究方向性を提案すること。

提案手法

• 手法とアプリケーション分野ごとに分類された、IoTにおけるXAI応用に関する体系的文献レビューの実施。
• 後処理型、本質的に解釈可能な、モデル特化型の手法を含む、XAI技術の分類の提案。
• XAIとIoTの相乗効果を分析し、AI駆動型IoTシステムにおける透明性、信頼性、意思決定の説明責任を高めること。
• 解釈可能性、忠実性、完全性の観点からXAI手法を評価し、実世界のIoT制約を重視すること。
• フェデレーテッドラーニングをXAIと統合し、フェイクノードで局所的説明を生成し、クラウドサーバーでグローバルな説明を提供すること。
• ウェアラブルおよびナノIoTシステムにおけるドメイン特化型のXAIインターフェースを提案し、分野特化のニーズに合わせた説明を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 XAI技術はどのように効果的にIoTシステムに統合され、透明性とユーザーの信頼を向上させることができるか？
• RQ2 IoTアプリケーションで使用される主なXAI手法の分類は何か？また、それらは性能と解釈可能性においてどのように異なるか？
• RQ3 リソース制限があり分散型のIoT環境にXAIを適用するにあたり、どのような主要な課題が生じるか？
• RQ4 説明可能性を維持しつつ、XAIモデルはどのようにして悪意ある攻撃や改ざんから保護できるか？
• RQ5 スケーラブルで信頼性が高く、ドメインに適応した説明可能なAIを実現するには、どのような今後の研究方向性が必要か？

主な発見

• XAIの分野におけるIoT分野の包括的サーベイが不足しており、事前にXAI手法がIoT文脈で包括的に検討されていないという顕著な研究ギャップが存在する。
• XAIは、医療や自律システムを含む重要なIoTアプリケーションにおいて意思決定の透明性を高め、特徴の重要性や意思決定経路を明らかにすることで、その効果を発揮する。
• 現在のXAI手法は、完全性や正確性を測る標準化されたメトリクスを欠いており、研究間で評価が一貫しない状況に陥っている。
• XAIモデルは悪意ある攻撃に対して脆弱であり、攻撃者が解釈可能性を悪用して微小な入力の摂動によってモデル出力を操作する可能性がある。
• モデル特化型XAI手法は後処理型手法よりも高い忠実性を示すが、複数のXAI手法を組み合わせることで説明の完全性を向上させることができる。
• フェデレーテッドラーニングとXAIを統合することで、フェイクノードでプライバシーを守った局所的説明が可能となり、同時にクラウドサーバーでグローバルなモデル解釈が可能になる。