[論文レビュー] Personalized explanation in machine learning.

Johannes Schneider, Joshua Handali|arXiv (Cornell University)|Jan 3, 2019

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本論文は、説明対象者固有のデータを獲得するための誘導技術を用いて、複雑さ、意思決定情報、提示方法の3つの主要なパーソナライゼーション次元を特定することにより、機械学習におけるパーソナライズド解釈の概念的枠組みを提案する。パーソナライズド解釈の質を評価するための新たな望ましい条件と定量的指標を導入し、個別化されたモデル解釈を通じて解釈可能性を向上させる。

ABSTRACT

Explanation in machine learning and related fields such as artificial intelligence aims at making machine learning models and their decisions understandable to humans. Existing work suggests that personalizing explanations might help to improve understandability. In this work, we derive a conceptualization of personalized explanation by defining and structuring the problem based on prior work on machine learning explanation, personalization (in machine learning) and concepts and techniques from other domains such as privacy and knowledge elicitation. We perform a categorization of explainee information used in the process of personalization as well as describing means to collect this information. We also identify three key explanation properties that are amendable to personalization: complexity, decision information and presentation. We also enhance existing work on explanation by introducing additional desiderata and measures to quantify the quality of personalized explanations.

研究の動機と目的

• 説明、パーソナライゼーション、プライバシー、および知識獲得の知見を統合することにより、機械学習におけるパーソナライズド解釈の概念的基盤を構築すること。
• パーソナライゼーションに用いられるユーザー固有の情報の種別を分類し、そのようなデータを収集する効果的な方法を同定すること。
• 複雑さ、意思決定情報、提示方法の3つの核心的解釈特性を定義・形式化し、個々のユーザーに合わせて調整可能であることを示すこと。
• 設計と評価を支援するための新たな望ましい条件と定量的測定値を導入すること。

提案手法

• 機械学習解釈、パーソナライゼーション、および関連分野における先行研究を統合することで、パーソナライズド解釈の概念的枠組みを導出する。
• ユーザーの専門知識、目的、文脈などのカテゴリーに分類された説明対象者情報の分類を行い、直接的誘導や暗黙的観察などの収集技術を概説する。
• パーソナライゼーションを、複雑さ（簡略化の度合い）、意思決定情報（関連するモデル出力）、提示方法（フォーマットとモダリティ）の3つの核心的特性を中心に構造化する。
• 設計と評価を支援するための新たな望ましい条件（例：関連性、正確性、ユーザーとの整合性）を導入する。
• ユーザー固有の忠実度と理解しやすさスコアを含む、説明の質を評価する定量的指標を提案する。
• 知識獲得技術を統合し、ユーザーのプロファイルとフィードバックに基づいて動的に説明を適応させる。

実験結果

リサーチクエスチョン

• RQ1 機械学習におけるパーソナライズド解釈は、ユーザー理解の向上を目的として、どのように概念的に枠組み化され構造化できるか？
• RQ2 説明のパーソナライゼーションに最も効果的なユーザー固有の情報は何か、そしてそれらをどのように収集できるか？
• RQ3 複雑さ、意思決定情報、提示方法の3つの核心的特性は、個々のユーザーにどのように適合できるか？
• RQ4 高品質なパーソナライズド解釈の設計を導くために必要な新たな望ましい条件は何か？
• RQ5 パーソナライズド解釈の質は、どのように定量的に測定され検証できるか？

主な発見

• 本論文は、ユーザー固有のデータと適応可能な解釈特性を含む、体系的なプロセスとしてのパーソナライズド解釈を形式化する包括的な概念的枠組みを確立する。
• 複雑さ、意思決定情報、提示方法の3つの核心的特性を、パーソナライゼーションの主なターゲットとして特定し、それぞれがユーザー固有の調整が可能であることを示す。
• 関連性、正確性、ユーザーとの整合性といった新たな望ましい条件を導入し、パーソナライズド解釈の設計と評価を強化する。
• 説明の質を測定するための定量的指標を提案し、パーソナライズド解釈システムの客観的比較と最適化を可能にする。
• ユーザーのプロファイルとフィードバックに基づいて説明を動的に適応させることを可能にするフレームワークを提供し、解釈可能性とユーザーの関与を向上させる。