[논문 리뷰] Explainable Activity Recognition for Smart Home Systems

Devleena Das, Yasutaka Nishimura외 5명|arXiv (Cornell University)|2021. 05. 20.

Context-Aware Activity Recognition Systems인용 수 4

한 줄 요약

이 논문은 스마트 홈에서 활동 인식(HAR) 모델 예측에 대한 자연어 설명을 생성하기 위해 LIME, SHAP 및 Anchors를 사용하는 설명 가능 활동 인식(XAR) 프레임워크를 제안한다. 연구 결과, SHAP 기반 설명이 가장 효과적이며, 설명의 타당성은 92%에 달하고 사용자 신뢰도를 높이며, 사용자 중 83%가 단순 레이블보다 설명을 선호함을 입증한다.

ABSTRACT

Smart home environments are designed to provide services that help improve the quality of life for the occupant via a variety of sensors and actuators installed throughout the space. Many automated actions taken by a smart home are governed by the output of an underlying activity recognition system. However, activity recognition systems may not be perfectly accurate and therefore inconsistencies in smart home operations can lead users reliant on smart home predictions to wonder "why did the smart home do that?" In this work, we build on insights from Explainable Artificial Intelligence (XAI) techniques and introduce an explainable activity recognition framework in which we leverage leading XAI methods to generate natural language explanations that explain what about an activity led to the given classification. Within the context of remote caregiver monitoring, we perform a two-step evaluation: (a) utilize ML experts to assess the sensibility of explanations, and (b) recruit non-experts in two user remote caregiver monitoring scenarios, synchronous and asynchronous, to assess the effectiveness of explanations generated via our framework. Our results show that the XAI approach, SHAP, has a 92% success rate in generating sensible explanations. Moreover, in 83% of sampled scenarios users preferred natural language explanations over a simple activity label, underscoring the need for explainable activity recognition systems. Finally, we show that explanations generated by some XAI methods can lead users to lose confidence in the accuracy of the underlying activity recognition model. We make a recommendation regarding which existing XAI method leads to the best performance in the domain of smart home automation, and discuss a range of topics for future work to further improve explainable activity recognition.

연구 동기 및 목표

• 예측이 잘못되었을 때 사용자가 혼란스러워지기 쉬운 스마트 홈 활동 인식 시스템의 설명 가능성 부족 문제를 해결하기 위해.
• 다변량 스마트 홈 센서 데이터에 대해 설명 가능 AI(XAI) 기법을 어떻게 적응시켜 이해하기 쉬운 자연어 설명을 생성할 수 있는지 조사하기 위해.
• 다양한 XAI 방법(LIME, SHAP, Anchors)이 원격 간병 모니터링 환경에서 사용자 신뢰도 및 이해도 향상에 얼마나 효과적인지 평가하기 위해.
• 자연어 설명이 동기화 및 이방형 모니터링 환경 모두에서 단순 활동 레이블보다 사용자 신뢰도 및 선호도를 높이는지 확인하기 위해.

제안 방법

• 프레임워크는 활동 인식을 위한 맥락을 유지하기 위해 시간단위 및 이벤트 수준 정보를 포함한 다변량 센서 데이터를 유지한다.
• 세 가지 최신 기술인 LIME, SHAP 및 Anchors를 적용하여 HAR 모델의 예측에 기여하는 특성 수준의 기여도를 추출한다.
• 각 XAI 방법의 출력은 템플릿 기반 자연어 설명으로 매핑되어 모델의 해석 가능성을 인간이 읽을 수 있는 형태로 전환된다.
• 두 가지 사용자 연구를 통해 시스템을 평가한다: 하나는 설명의 타당성과 계산 효율성을 평가하는 기계학습 전문가를 대상으로 한 연구이며, 다른 하나는 원격 간병 모니터링 환경에서 비전문가 사용자를 대상으로 한 연구이다.
• 실제 스마트 홈 시나리오, 특히 활동 오분류가 발생한 경우에도 설명의 명확성과 사용자 인식에 미치는 영향을 테스트하기 위해 설명을 생성한다.
• 사용자 연구를 통해 단순 레이블만 제공된 경우와 XAI 기반 설명이 제공된 경우의 사용자 선호도 및 HAR 모델에 대한 인식된 신뢰도를 비교한다.

실험 결과

연구 질문

• RQ1 LIME, SHAP, Anchors 중 어느 XAI 방법이 다변량 스마트 홈 센서 데이터에 대해 가장 타당하고 이해하기 쉬운 설명을 생성하는가?
• RQ2 원격 간병 모니터링 환경에서 사용자들은 자연어 설명을 단순 활동 레이블보다 어떻게 인식하고 선호하는가?
• RQ3 XAI 기반 설명은 기반 HAR 모델의 정확성에 대한 사용자 신뢰도를 얼마나 높이거나 낮출 수 있는가?
• RQ4 활동 인식 오류가 스마트 홈 시스템에서 발생했을 때 XAI 설명이 사용자 혼란을 효과적으로 줄일 수 있는가?

주요 결과

• SHAP 기반 설명은 기계학습 전문가들로부터 92%의 타당성 성공률를 기록하여 LIME 및 Anchors를 능가했다.
• 사용자 연구에서 참가자 83%가 단순 활동 레이블보다 자연어 설명을 선호하여 설명 가능성에 대한 강한 수요가 있음을 시사한다.
• SHAP 설명은 특히 동기화 및 이방형 모니터링 환경 모두에서 HAR 모델 예측에 대한 사용자 신뢰도를 가장 효과적으로 높였다.
• 일부 XAI 방법, 특히 SHAP는 사용자 신뢰도를 향상시켰지만, 다른 방법은 오히려 신뢰도를 낮추는 결과를 보여, 방법 선택의 중요성을 강조한다.
• 연구 결과, 사용자 선호도가 다양함을 확인하여 개인의 필요에 맞는 맞춤형 설명 유형이 필요함을 시사한다.
• 결과적으로 설명 가능 HAR 시스템은 특히 중요한 헬스케어 환경에서 스마트 홈 자동화의 투명성과 신뢰도를 크게 향상시킬 수 있음을 시사한다.