[論文レビュー] Personalized explanation in machine learning: A conceptualization

Johanes Schneider, Joshua Handali|arXiv (Cornell University)|Jan 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 77被引用数 12

ひとこと要約

この論文は、機械学習におけるパーソナライズド解釈の概念的枠組みを提示し、専門知識、好み、文脈などの個々のユーザーの特徴が、理解可能性を向上させるために解釈をどのようにカスタマイズできるかを定義している。3つの主要なパーソナライズ可能な特性（複雑さ、意思決定情報、提示方法）を特定し、解釈の質を評価するための望ましい条件と指標を提案することで、ユーザー中心のアプローチにより、説明可能AI分野の最先端を前進させている。

ABSTRACT

Explanation in machine learning and related fields such as artificial intelligence aims at making machine learning models and their decisions understandable to humans. Existing work suggests that personalizing explanations might help to improve understandability. In this work, we derive a conceptualization of personalized explanation by defining and structuring the problem based on prior work on machine learning explanation, personalization (in machine learning) and concepts and techniques from other domains such as privacy and knowledge elicitation. We perform a categorization of explainee data used in the process of personalization as well as describing means to collect this data. We also identify three key explanation properties that are amendable to personalization: complexity, decision information and presentation. We also enhance existing work on explanation by introducing additional desiderata and measures to quantify the quality of personalized explanations.

研究の動機と目的

• 説明可能AIにおけるギャップを埋めるために、パーソナライゼーションが機械学習モデル意思決定の理解可能性をどのように向上させられるかを形式化すること。
• ユーザー固有のデータと解釈の特性を含む、パーソナライゼーションの主要な次元を特定・構造化すること。
• パーソナライズド解釈の質を評価するための新しい望ましい条件と定量的指標を提案すること。
• プライバシー、知識獲得、機械学習におけるパーソナライゼーションの知見を統合し、一貫性のある概念的基盤を構築すること。
• 説明対象者データの分類法とその収集方法を提示し、パーソナライズド解釈システムの体系的設計を可能にすること。

提案手法

• 著者らは、機械学習解釈、パーソナライゼーション、およびプライバシー、知識獲得などの関連分野の先行研究を統合することで、概念的枠組みを導出している。
• 説明対象者データを、ユーザーの専門知識、認知的好み、文脈的要因などの種別に分類し、アンケート、暗黙的フィードバック、直接入力などの収集方法を説明している。
• この枠組みは、パーソナライズが可能な3つの解釈の核心的特性を特定している：複雑さ（簡略化の度合い）、意思決定情報（コンテンツの関連性）、提示方法（フォーマットとモダリティ）。
• このアプローチは、関連性、正確性、適応性といった、パーソナライズド解釈のための新しい望ましい条件を導入し、解釈の質を定量化するための指標を提案している。
• ユーザー中心設計を強調しており、モデルの透明性と公平性と整合性を保ちながら、ユーザー固有のデータに基づくパーソナライゼーションを根拠としている。
• パーソナライズド解釈の組織化のための体系的分類法を提供し、パーソナライズド解釈システムの体系的開発と評価を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 ユーザー固有の特性を、理解可能性を向上させるために、どのように体系的かつ一貫して機械学習解釈に組み込むことができるか？
• RQ2 パーソナライズ可能な解釈の主な特性は何か。また、それらはユーザーの理解にどのように影響するか？
• RQ3 解釈のパーソナライズに最も効果的な説明対象者データの種別は何か。また、それらはどのように倫理的かつ効率的に収集できるか？
• RQ4 高品質なパーソナライズド解釈の設計を導くために、どのような基準や望ましい条件を設けるべきか？
• RQ5 パーソナライズド解釈の質を、体系的かつ一貫性を持ってどのように測定・評価できるか？

主な発見

• この論文は、パーソナライズド解釈を、複雑さ、意思決定情報、提示方法という3つの核心的特性を中心に体系的に構造化できることを確立している。
• 専門知識レベル、認知スタイル、文脈的好みなどの複数のタイプの説明対象者データが、解釈のカスタマイズに利用可能であると特定している。
• 関連性、正確性、適応性といった、設計と評価をガイドするパーソナライズド解釈のための望ましい条件のセットを著者らが提案している。
• 解釈の質を定量化するための指標を枠組みが導入しており、パーソナライズド解釈システムの客観的比較と改善を可能にしている。
• 今後の実証的研究およびパーソナライズド説明可能AI分野のシステム開発の基盤を提供している。
• 本研究はECIS 2019での発表に採択されており、学術コミュニティ内で基礎的かつ概念的貢献として認められている。