[논문 리뷰] Explainable Artificial Intelligence (XAI) for Internet of Things: A Survey

İbrahim Kök, Feyza Yıldırım Okay외 2명|arXiv (Cornell University)|2022. 06. 07.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 인터넷의 사물(IoT) 분야에서 해석 가능한 인공지능(XAI)에 대한 종합적인 서베이를 제시하며, XAI 기법, IoT 애플리케이션과의 통합, 핵심 과제를 분석한다. 이는 IoT 내 XAI 방법의 체계적 분류 체계를 제안하고, 신뢰, 보안, 설명 가능성 메트릭스 등의 열린 문제를 규명하며, 분산형 IoT 시스템에서 해석 가능하고 안전하며 애플리케이션 중심의 AI를 위한 향후 연구 방향을 제시한다.

ABSTRACT

Black-box nature of Artificial Intelligence (AI) models do not allow users to comprehend and sometimes trust the output created by such model. In AI applications, where not only the results but also the decision paths to the results are critical, such black-box AI models are not sufficient. Explainable Artificial Intelligence (XAI) addresses this problem and defines a set of AI models that are interpretable by the users. Recently, several number of XAI models have been to address the issues surrounding by lack of interpretability and explainability of black-box models in various application areas such as healthcare, military, energy, financial and industrial domains. Although the concept of XAI has gained great deal of attention recently, its integration into the IoT domain has not yet been fully defined. In this paper, we provide an in-depth and systematic review of recent studies using XAI models in the scope of IoT domain. We categorize the studies according to their methodology and applications areas. In addition, we aim to focus on the challenging problems and open issues and give future directions to guide the developers and researchers for prospective future investigations.

연구 동기 및 목표

• IoT 도메인 내 XAI 통합에 대한 종합적인 서베이가 부족한 점을 보완하기 위해.
• 이론적 기초가 없는 연구자들이 XAI 용어, 분류 체계, 방법론을 명확히 이해할 수 있도록 하기 위해.
• 스마트 시티, 헬스케어, 산업 시스템 등의 IoT 사용 사례에서 현재의 XAI 응용을 분석하기 위해.
• 신뢰, 보안, 설명 가능성 메트릭스 등의 과제를 포함하여 IoT를 위한 XAI에서의 주요 과제를 규명하기 위해.
• 분산형 IoT 아키텍처에서 확장 가능하고 안전하며 애플리케이션 중심의 XAI를 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 방법론 및 응용 분야별로 분류된 IoT 내 XAI 응용에 대한 체계적 문헌 리뷰를 수행하기 위해.
• 후행적(post-hoc), 내재적으로 해석 가능한(inherently interpretable), 모델 특정(model-specific) 방법을 포함한 XAI 기법의 분류 체계를 제안하기 위해.
• XAI와 IoT의 상호보완적 관계를 분석하여 AI 기반 IoT 시스템의 투명성, 신뢰성, 의사결정 책임성을 향상시키기 위해.
• 실제 IoT 환경의 제약 조건을 고려하여 설명 가능성, 충실도(faithfulness), 완전성(completeness)의 관점에서 XAI 기법을 평가하기 위해.
• 연합 학습(federated learning)과 XAI를 통합하여 퍼그 노드에서 국소적 설명 생성과 클라우드 서버에서의 글로벌 설명 제공을 가능하게 하기 위해.
• 웨어러블 및 나노-IoT 시스템과 같은 도메인 특화 요구사항에 맞게 설명을 맞춤화하는 애플리케이션 중심의 XAI 인터페이스를 제안하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 XAI 기법을 효과적으로 IoT 시스템에 통합하여 투명성과 사용자 신뢰를 향상시킬 수 있는가?
• RQ2 IoT 응용에서 사용되는 XAI의 주요 방법론적 범주들은 무엇이며, 성능과 해석 가능성 측면에서 어떻게 다를 수 있는가?
• RQ3 자원 제약이 있는 분산형 IoT 환경에 XAI를 적용할 때의 주요 과제는 무엇인가?
• RQ4 설명 가능성 유지 조건에서 XAI 모델을 악성 공격 및 조작으로부터 보호하기 위해서는 어떻게 해야 하는가?
• RQ5 확장 가능하고 신뢰성 있으며 도메인 인지 가능한 설명 가능한 AI를 달성하기 위해 향후 어떤 연구 방향이 필요한가?

주요 결과

• 이전 서베이에서 IoT 환경 내 XAI 기법을 종합적으로 분석하지 못한 심각한 연구 격차가 존재한다.
• 의료 및 자율 주행 시스템과 같은 핵심 IoT 응용 분야에서 XAI는 특성 중요도와 의사결정 경로를 드러내어 의사결정의 투명성을 향상시킨다.
• 현재의 XAI 기법은 완전성과 정확도를 측정하기 위한 표준화된 메트릭스를 보유하지 못해 연구 간 평가가 일관되지 않은 경향이 있다.
• XAI 모델은 해석 가능성의 약점을 악용당할 수 있으며, 공격자는 미세한 입력 변형을 통해 모델 출력을 조작할 수 있다.
• 모델 특정 XAI 기법은 후행적 방법보다 더 높은 정밀도를 제공하지만, 여러 XAI 기법을 조합하면 설명의 완전성이 향상될 수 있다.
• 연합 학습과 XAI를 융합하면 퍼그 노드에서 국소적이고 프라이버시를 보장하는 설명 생성이 가능하며, 동시에 클라우드 서버에서 글로벌 모델 해석도 지원할 수 있다.