[論文レビュー] Explainability via Interactivity? Supporting Nonexperts' Sensemaking of Pretrained CNN by Interacting with Their Daily Surroundings

Chao Wang, Pengcheng An|arXiv (Cornell University)|May 31, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 7

ひとこと要約

本論文では、日常の物を写真に撮ることで、事前学習済み畳み込みニューラルネットワーク（CNN）を非専門家ユーザーがインタラクティブに探求できるモバイルアプリケーションを提示する。クラス活性化マップ（CAM）を用いて、モデルの予測に寄与する画像領域を可視化する。このツールは大学の授業で導入され、デザイン専門学生が遊び心をもって実世界の体験を通じて、CNNの能力と限界を直感的に理解するのを支援した。

ABSTRACT

Current research on Explainable AI (XAI) heavily targets on expert users (data scientists or AI developers). However, increasing importance has been argued for making AI more understandable to nonexperts, who are expected to leverage AI techniques, but have limited knowledge about AI. We present a mobile application to support nonexperts to interactively make sense of Convolutional Neural Networks (CNN); it allows users to play with a pretrained CNN by taking pictures of their surrounding objects. We use an up-to-date XAI technique (Class Activation Map) to intuitively visualize the model's decision (the most important image regions that lead to a certain result). Deployed in a university course, this playful learning tool was found to support design students to gain vivid understandings about the capabilities and limitations of pretrained CNNs in real-world environments. Concrete examples of students' playful explorations are reported to characterize their sensemaking processes reflecting different depths of thought.

研究の動機と目的

• 非専門家ユーザー（例：デザイナーや非技術的実務者）向けに特化した説明可能なAI（XAI）ツールの不足を補うこと。
• 非専門家が、実世界の環境における事前学習済みCNNの意思決定プロセスを実用的で直感的な理解を深めることを支援すること。
• AIモデルとのインタラクティブで実世界の関与が、AI知識が限定的なユーザーの意味づけプロセスをどのように支援するかを調査すること。
• 遊び心があり文脈に適応したCNNとの対話が、表面的な予測を超えたモデル行動の深い洞察を明らかにできるかを評価すること。

提案手法

• 研究者たちは、ユーザーが日常の周囲の物理的対象を写真に撮り、事前学習済みCNN（例：VGG-19）を用いて分類できるモバイルアプリケーションを開発した。
• アプリは、後処理XAI手法の一つであるクラス活性化マッピング（CAM）を統合し、モデルの予測に寄与する最も顕著な画像領域を強調表示する。
• ユーザーはリアルタイムでモデルと対話し、照明の変化、視点の違い、または物体の文脈の変化が分類結果に与える影響を観察する。
• このツールは、機械学習経験のない30名のデザイン専門学生が参加する大学の授業で導入され、実世界の探求的学習を可能にした。
• 学生たちは、驚きやユーモラスな予測を集める、環境要因がモデル行動に与える影響を推測する、画像内容を変更して即座に実験を行うなど、さまざまな活動を行った。
• 研究者たちは学生のインタラクションと反省を分析し、表面的な好奇心から仮説に基づく実験への段階的意味づけのレベルを同定した。

実験結果

リサーチクエスチョン

• RQ1 非専門家ユーザーは、実世界との対話によって、どのように事前学習済みCNNを実用的に理解できるか？
• RQ2 インタラクティブなモバイルツールを用いてCNNの予測を探求する非専門家が、どのような意味づけ活動を示すか？
• RQ3 クラス活性化マップによる視覚的説明は、非専門家のモデル意思決定の解釈をどのように支援または阻害するか？
• RQ4 照明や物体の文脈といった環境要因は、非専門家のCNN行動の認識と解釈にどのような影響を与えるか？

主な発見

• 学生たちは、驚きやインパクトのある予測を集める、環境要因が結果に与える影響を推測する、仮説を検証するための即座の実験を行うという、3つの明確な意味づけの段階に参加した。
• クラス活性化マップの使用により、学生たちはモデルの予測と特定の画像領域を視覚的に結びつけることができ、意思決定プロセスの理解が深まった。
• 多くの学生が、直接的な対話によって、照明への感受性や物体の文脈への依存といったCNNの限界について、より鮮明で実用的な理解を得たと報告した。
• このツールは、非専門家がモデル行動に関する仮説を立て、実世界の状況で検証するのを支援した。これは、学習の補助ツールとしての可能性を示している。
• 学生たちは、部分的に見えない物体や背景のごみによる誤分類といった、モデルの頑健性や失敗モードについての認識が高まった。
• 遊び心があり文脈に適応したアプリケーションの設計は、単なるモデル出力の受動的接触に比べ、継続的な関与とより深い認知的処理を促進した。