[論文レビュー] Explainable Activity Recognition for Smart Home Systems

Devleena Das, Yasutaka Nishimura+5 more|arXiv (Cornell University)|May 20, 2021

Context-Aware Activity Recognition Systems被引用数 4

ひとこと要約

本論文は、スマートホームにおける活動認識（HAR）モデルの予測に対して自然言語による説明を生成する、説明可能な活動認識（XAR）フレームワークを提案する。LIME、SHAP、Anchorsを用いて説明を生成し、SHAPベースの説明が最も効果的であることを示しており、説明の妥当性は92%に達し、ユーザーの信頼感を高めた。83%のユーザーが単なるラベルよりも説明を好んだ。

ABSTRACT

Smart home environments are designed to provide services that help improve the quality of life for the occupant via a variety of sensors and actuators installed throughout the space. Many automated actions taken by a smart home are governed by the output of an underlying activity recognition system. However, activity recognition systems may not be perfectly accurate and therefore inconsistencies in smart home operations can lead users reliant on smart home predictions to wonder "why did the smart home do that?" In this work, we build on insights from Explainable Artificial Intelligence (XAI) techniques and introduce an explainable activity recognition framework in which we leverage leading XAI methods to generate natural language explanations that explain what about an activity led to the given classification. Within the context of remote caregiver monitoring, we perform a two-step evaluation: (a) utilize ML experts to assess the sensibility of explanations, and (b) recruit non-experts in two user remote caregiver monitoring scenarios, synchronous and asynchronous, to assess the effectiveness of explanations generated via our framework. Our results show that the XAI approach, SHAP, has a 92% success rate in generating sensible explanations. Moreover, in 83% of sampled scenarios users preferred natural language explanations over a simple activity label, underscoring the need for explainable activity recognition systems. Finally, we show that explanations generated by some XAI methods can lead users to lose confidence in the accuracy of the underlying activity recognition model. We make a recommendation regarding which existing XAI method leads to the best performance in the domain of smart home automation, and discuss a range of topics for future work to further improve explainable activity recognition.

研究の動機と目的

• 予測が誤っている場合にユーザーが混乱をきたす可能性がある、スマートホーム活動認識システムにおける説明可能性の欠如に対処すること。
• XAI技術が多次元スマートホームセンサー・データの解釈可能な自然言語説明にどのように適合できるかを調査すること。
• LIME、SHAP、Anchorsといった異なるXAI手法が、遠隔介護者モニタリングの場面においてユーザーの信頼と理解をどのように向上させるかを評価すること。
• 自然言語による説明が、同期的および非同期的モニタリングの両方の文脈において、単なる活動ラベルよりもユーザーの信頼感や好みを高めることを確認すること。

提案手法

• フレームワークは、タイムステップおよびイベントレベルの情報を含む多次元センサー・データを保持し、活動認識の文脈を維持する。
• 最先端のXAI手法3つ（LIME、SHAP、Anchors）を適用し、HARモデルの予測に寄与する特徴量の寄与度を抽出する。
• 各XAI手法の出力をテンプレートベースの自然言語説明にマッピングし、モデルの解釈可能性を人間が読める形に変換する。
• 2つのユーザースタディを実施して評価する：1つはML専門家による説明の妥当性と計算効率の評価、もう1つは非専門家ユーザーによる遠隔介護者モニタリングのシナリオでの評価。
• 実世界のスマートホームシナリオ、特に活動分類の誤りを含めたケースに対して説明を生成し、その明確さとユーザー認識への影響をテストする。
• ユーザースタディでは、単なるラベルとXAIによって生成された説明を提示した場合のユーザーの好みと、HARモデルに対する信頼感の違いを比較する。

実験結果

リサーチクエスチョン

• RQ1 LIME、SHAP、Anchorsのうち、どのXAI手法が多次元スマートホームセンサー・データに対して最も妥当で解釈可能な説明を生成するか？
• RQ2 遠隔介護者モニタリングの文脈において、ユーザーは自然言語による説明を単なる活動ラベルよりもどのように認識・好むか？
• RQ3 XAIによって生成された説明は、下位のHARモデルの正確性に対するユーザーの信頼感をどの程度高めたり低下させたりするか？
• RQ4 活動認識の誤りがスマートホームシステムで発生した場合、XAIの説明はユーザーの混乱を効果的に軽減できるか？

主な発見

• SHAPベースの説明は、ML専門家による評価で92%の妥当性を達成し、LIMEやAnchorsを上回った。
• ユーザースタディでは、83%の参加者が単なるラベルよりも自然言語説明を好んだ。これは、説明可能性への強い需要を示している。
• SHAPの説明が、同期的および非同期的モニタリングの両方の文脈で、HARモデルの予測に対するユーザーの信頼感を最も効果的に高めた。
• 一部のXAI手法、特にSHAPはユーザーの信頼を高めたが、他の手法は信頼感を低下させる結果となった。これは、手法選択の重要性を示している。
• 研究結果から、ユーザーの説明に対する好みは多様であることが明らかになった。これは、個々のユーザーのニーズに応じたカスタマイズ可能な説明タイプの必要性を示唆している。
• 結果から、説明可能なHARシステムは、特に医療ケア分野において、スマートホーム自動化の透明性と信頼性を顕著に向上させられると示された。