[论文解读] KANDINSKYPatterns -- An experimental exploration environment for Pattern Analysis and Machine Intelligence

Andreas Holzinger, Anna Saranti+1 more|arXiv (Cornell University)|Feb 28, 2021

Explainable Artificial Intelligence (XAI)参考文献 72被引用 4

一句话总结

本文介绍了 KANDINSKYPatterns（KP），一种用于模式分析与机器智能的新型实验环境，可实现受控的、人类可解释的视觉概念学习。受康定斯基的构成感知理论及赫布尔与维塞尔的视觉神经基础理论启发，KP 提供计算可控、经真实标签验证的分层、组合式概念模式，支持对人工智能系统泛化能力、推理能力与可解释性的基准测试。

ABSTRACT

Machine intelligence is very successful at standard recognition tasks when having high-quality training data. There is still a significant gap between machine-level pattern recognition and human-level concept learning. Humans can learn under uncertainty from only a few examples and generalize these concepts to solve new problems. The growing interest in explainable machine intelligence, requires experimental environments and diagnostic tests to analyze weaknesses in existing approaches to drive progress in the field. In this paper, we discuss existing diagnostic tests and test data sets such as CLEVR, CLEVERER, CLOSURE, CURI, Bongard-LOGO, V-PROM, and present our own experimental environment: The KANDINSKYPatterns, named after the Russian artist Wassily Kandinksy, who made theoretical contributions to compositivity, i.e. that all perceptions consist of geometrically elementary individual components. This was experimentally proven by Hubel &Wiesel in the 1960s and became the basis for machine learning approaches such as the Neocognitron and the even later Deep Learning. While KANDINSKYPatterns have computationally controllable properties on the one hand, bringing ground truth, they are also easily distinguishable by human observers, i.e., controlled patterns can be described by both humans and algorithms, making them another important contribution to international research in machine intelligence.

研究动机与目标

• 通过创建一个用于评估不确定性下泛化与推理能力的测试平台，弥合机器级模式识别与人类级概念学习之间的差距。
• 提供一个诊断性环境，支持人类与算法对视觉概念的理解，实现人工智能与人类表现的直接对比。
• 通过提供具有真实标签注释、组合式与分层概念的数据集，推动可解释人工智能研究，其概念反映真实世界认知过程。
• 通过提供具有清晰语言与结构定义的结构化、可扩展基准，支持新型神经网络架构与符号-AI 混合方法的发展。
• 通过一个精心筛选、持续演化的数据集，支持对视觉模型中 few-shot 学习、组合泛化与反事实推理的系统性评估。

提出的方法

• 基于几何基元（形状、颜色、位置）设计视觉数据集，灵感源自康定斯基的构成感知理论及赫布尔与维塞尔对大脑中分层视觉处理的发现。
• 创建一组受控的、可计算验证的模式，并附带真实标签，确保算法与人类均可解释。
• 定义一个分层的、组合式概念空间，包含基本概念（如形状、颜色、数量）与高阶关系（如算术、空间关系）。
• 实现一种语法或领域特定语言，以表达概念及其模糊性，支持概率性与组合性推理。
• 生成测试集划分，系统性地评估在训练与测试分布之间的泛化、组合性与鲁棒性。
• 在保持与医学及认知推理基准对齐的前提下，为开发者与研究人员提供无约束的数据生成能力。

实验结果

研究问题

• RQ1 最先进神经网络在受控、可解释环境中，对组合式与分层视觉概念的泛化能力如何？
• RQ2 人工智能系统在极少监督下，多大程度上能学习并推理抽象视觉概念，以模拟人类的 few-shot 概念学习？
• RQ3 在相同视觉模式下，模型预测与人类在概念识别、描述与解耦方面的表现相比如何？
• RQ4 可解释人工智能（xAI）方法能否有效诊断模型在组合视觉任务中推理失败的原因？
• RQ5 如何扩展该数据集以支持视觉模型中的反事实推理与因果理解？

主要发现

• KANDINSKYPatterns 提供计算控制、真实标签与人类可解释性的独特组合，支持对人工智能与人类概念学习的直接基准测试。
• 该数据集支持分层与组合式概念学习，支持涉及算术、空间关系与关系推理的任务，超越简单分类。
• 与 CLEVR 和 Bongard-LOGO 等现有基准相比，KP 更强调组合结构，并支持更丰富的语言与符号化视觉概念表达。
• 该数据集的设计支持向现实世界领域（如医学影像）的未来扩展，通过将概念语法与临床诊断语言对齐。
• 该框架支持对泛化与鲁棒性的系统性评估，尤其在 few-shot 与分布外设置下表现突出。
• 将 xAI 方法与 KP 集成，可实现对模型行为的更深层次诊断分析，揭示推理与泛化中的成功与失败模式。