[论文解读] Introspective Learning : A Two-Stage Approach for Inference in Neural Networks

Mohit Prabhushankar, Ghassan AlRegib|arXiv (Cornell University)|Sep 17, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出了一种名为内省学习（introspective learning）的两阶段神经网络推理框架，其中主前馈网络首先做出初步预测，随后通过梯度作为内省特征的反思阶段评估其他类别预测。该方法在噪声数据上使鲁棒性提升4%，校准误差降低42%，同时在主动学习、分布外（OOD）检测和不确定性估计任务中表现更优。

ABSTRACT

In this paper, we advocate for two stages in a neural network's decision making process. The first is the existing feed-forward inference framework where patterns in given data are sensed and associated with previously learned patterns. The second stage is a slower reflection stage where we ask the network to reflect on its feed-forward decision by considering and evaluating all available choices. Together, we term the two stages as introspective learning. We use gradients of trained neural networks as a measurement of this reflection. A simple three-layered Multi Layer Perceptron is used as the second stage that predicts based on all extracted gradient features. We perceptually visualize the post-hoc explanations from both stages to provide a visual grounding to introspection. For the application of recognition, we show that an introspective network is 4% more robust and 42% less prone to calibration errors when generalizing to noisy data. We also illustrate the value of introspective networks in downstream tasks that require generalizability and calibration including active learning, out-of-distribution detection, and uncertainty estimation. Finally, we ground the proposed machine introspection to human introspection for the application of image quality assessment.

研究动机与目标

• 通过引入受人类认知启发的两阶段推理过程，解决深度神经网络缺乏内省推理的问题。
• 在分布偏移，尤其是噪声或分布外（out-of-distribution）设置下，提升模型的鲁棒性与校准性。
• 通过从损失梯度中提取的可视化内省特征，提供事后可解释性。
• 通过轻量级第二阶段MLP作为即插即用模块，无需微调基础网络即可增强现有模型。
• 展示内省特征在主动学习、OOD检测和不确定性量化等下游任务中的实用性。

提出的方法

• 提出两阶段推理框架：首先，标准前馈网络（如ResNet）做出初始预测；其次，通过反思阶段评估该决策。
• 使用损失关于网络参数的梯度作为内省特征，捕捉网络对每个可能类别的内部推理过程。
• 采用一个小型三层MLP（记为ℋ(⋅)），将所有N个内省梯度特征（每个类别一个）进行融合，生成优化后的预测ŷ。
• 利用Grad-CAM可视化内省特征，为反思过程提供感知支持与可解释性。
• 将内省头作为即插即用模块集成到现有模型中，无需微调基础网络。
• 利用事后梯度隐式回答“为何不是y_I？”这一问题，实现在无外部监督下的反思能力。

实验结果

研究问题

• RQ1 神经网络的内部梯度能否作为其自身预测内省推理的可靠信号？
• RQ2 引入两阶段推理过程（感知后反思）是否能提升模型在分布偏移下的鲁棒性与校准性？
• RQ3 从梯度中提取的内省特征能否提升主动学习与OOD检测等下游任务的性能？
• RQ4 在准确率与可靠性方面，内省学习相较于现有不确定性量化与校准技术表现如何？
• RQ5 内省特征在多大程度上能为模型决策提供人类可理解的解释？

主要发现

• 与标准前馈网络相比，内省模型在泛化到噪声数据时，鲁棒性提升4%，校准误差降低42%。
• 在MULTI-LIVE与TID2013图像质量评估数据集上，内省框架在RMSE、PLCC、SRCC与KRCC等所有指标上达到最佳或第二佳表现。
• 内省ResNet-18在识别准确率（0.45 vs. 0.30）与不确定性度量（对数似然：-2.97 vs. -15.54）上均优于TENT，且在不确定性校准方面与贝叶斯基线相当。
• 在相同基础网络上，内省头显著提升性能：例如，在MULTI数据集上，RMSE改善1.315，PLCC提升0.036，SRCC提升0.020。
• 在所有评估中，该方法在至少一个指标上显著优于基线，且无任何情况下表现不具竞争力。
• 利用Grad-CAM生成的内省特征可视化结果提供了感知支持，表明反思阶段聚焦于所有候选类别中的判别性区域。