[论文解读] Knowledge-based Transfer Learning Explanation

Jiaoyan Chen, Freddy Lécué+3 more|arXiv (Cornell University)|Jul 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 2被引用 31

一句话总结

本文提出了一种基于本体的、面向人类的迁移学习解释框架，利用 OWL 2 EL++ 本体和外部知识库（如 DBpedia）推断三类解释性证据——一般因素、特定叙述者和核心情境。该框架通过使用 CNN 特征表示，实现了对航班延误预测中正向迁移和负向迁移的自信且可解释的解释，使非专家能够理解为何某些迁移成功或失败。

ABSTRACT

Machine learning explanation can significantly boost machine learning's application in decision making, but the usability of current methods is limited in human-centric explanation, especially for transfer learning, an important machine learning branch that aims at utilizing knowledge from one learning domain (i.e., a pair of dataset and prediction task) to enhance prediction model training in another learning domain. In this paper, we propose an ontology-based approach for human-centric explanation of transfer learning. Three kinds of knowledge-based explanatory evidence, with different granularities, including general factors, particular narrators and core contexts are first proposed and then inferred with both local ontologies and external knowledge bases. The evaluation with US flight data and DBpedia has presented their confidence and availability in explaining the transferability of feature representation in flight departure delay forecasting.

研究动机与目标

• 为解决迁移学习中缺乏面向人类的解释，特别是针对非机器学习专家的问题。
• 克服当前机器学习解释方法依赖机器可读见解、缺乏背景知识或常识知识的局限性。
• 开发一种将本地本体与外部知识库相结合的框架，以生成丰富且易于理解的迁移学习结果解释。
• 使不具备机器学习专业知识的用户能够理解为何在预测任务中某些知识迁移成功（正向迁移）或失败（负向迁移）。
• 提供一种通用、表达能力强的知识表示与推理系统，用于迁移学习解释，支持本地知识与外部知识的结合。

提出的方法

• 使用表达性强的 OWL 2 EL++ 本体对每个学习领域（数据集与预测任务）进行建模，以表示概念、关系和个体。
• 通过一种高效的个体匹配与知识导入算法，将本地本体与 DBpedia 的外部知识相结合。
• 应用相关性推理算法，推断三类解释性证据：一般因素、特定叙述者和核心情境。
• 利用 TBox 中的概念与关系公理（如 GCI、RI）以及 ABox 中的断言，表示领域特定知识与常识知识。
• 通过逻辑推理克服技术挑战，如特征可迁移性度量与核心情境（蕴含子集）识别。
• 利用 OWL 2 EL++ 的语义表达能力，支持对本地与外部知识进行推理，以生成解释。

实验结果

研究问题

• RQ1 为何将一个学习领域的特征表示迁移到另一个学习领域会在航班延误预测中导致正向或负向迁移？
• RQ2 如何自动推断一般因素、特定叙述者与核心情境，以人类可理解的方式解释迁移结果？
• RQ3 外部知识（如 DBpedia）在通过常识与情境背景丰富迁移学习解释方面起到何种作用？
• RQ4 如何有效整合本地本体与外部知识库，以支持对可迁移性的推理？
• RQ5 所提出的框架在多大程度上能够为正向与负向迁移案例生成自信且可用的解释性证据？

主要发现

• 该框架成功为使用 CNN 学习特征的美国航班起飞延误预测中的正向与负向迁移，生成了自信且可用的解释性证据。
• 识别出从主要航空公司运营的航班中迁移特征作为支持正向迁移的一般因素，表明模型具备识别有意义模式的能力。
• 从 SFO 起飞的航班中迁移特征被识别为核心情境，用以解释负向迁移，表明存在领域特定的不相容性。
• DBpedia 与本地本体的结合使得能够推断出丰富且情境感知的解释，其中融合了常识与背景知识。
• 该框架在异构知识源上实现了有效的推理，证明了其在面向人类的迁移学习解释中的可行性。
• 评估结果证实，所提出方法能够支持可解释、语义基础明确的解释，且对非专家用户具有可访问性。