[论文解读] Contrastive Reasoning in Neural Networks

Mohit Prabhushankar, Ghassan AlRegib|arXiv (Cornell University)|Mar 23, 2021

Explainable Artificial Intelligence (XAI)参考文献 55被引用 6

一句话总结

本文提出了一种神经网络中的对比推理方法，将推理重新构想为基于网络权重流形中输入数据与已学习类别依赖之间特征级对比的溯因推理。通过提取并利用这些对比——形式化为对已知因果模式的偏离——该方法在分布偏移下提升了鲁棒性，在CIFAR-10C、带噪声的STL-10以及VisDA上的各类扭曲和域偏移下，准确率提升了3.47%–5.48%。

ABSTRACT

Neural networks represent data as projections on trained weights in a high dimensional manifold. The trained weights act as a knowledge base consisting of causal class dependencies. Inference built on features that identify these dependencies is termed as feed-forward inference. Such inference mechanisms are justified based on classical cause-to-effect inductive reasoning models. Inductive reasoning based feed-forward inference is widely used due to its mathematical simplicity and operational ease. Nevertheless, feed-forward models do not generalize well to untrained situations. To alleviate this generalization challenge, we propose using an effect-to-cause inference model that reasons abductively. Here, the features represent the change from existing weight dependencies given a certain effect. We term this change as contrast and the ensuing reasoning mechanism as contrastive reasoning. In this paper, we formalize the structure of contrastive reasoning and propose a methodology to extract a neural network's notion of contrast. We demonstrate the value of contrastive reasoning in two stages of a neural network's reasoning pipeline : in inferring and visually explaining decisions for the application of object recognition. We illustrate the value of contrastively recognizing images under distortions by reporting an improvement of 3.47%, 2.56%, and 5.48% in average accuracy under the proposed contrastive framework on CIFAR-10C, noisy STL-10, and VisDA datasets respectively.

研究动机与目标

• 解决前馈式、归纳式推理在神经网络面对分布偏移和数据扭曲时的泛化失败问题。
• 形式化一种新的推理范式——对比推理，通过利用训练网络中的隐式对比，从结果反推原因。
• 提取并利用网络内部对对比的理解，作为鲁棒、可解释决策的基础。
• 通过识别与已知类别流形的特征级偏离，提升模型鲁棒性并提供可视化解释。
• 证明对比推理在低数据量和分布外设置下优于标准前馈推理。

提出的方法

• 将对比形式化为输入特征在训练网络高维空间中相对于已知类别特定权重流形的偏离。
• 通过计算网络logits相对于输入特征的梯度，提取对比特征，识别输入变化如何影响类别预测。
• 从网络生成的多个类别预测中构建假设集ℋ，将每个预测视为输入的潜在解释。
• 通过选择对比偏离幅度和方向最合理的假设（类别），应用溯因推理。
• 将对比推理机制作为插件模块集成到预训练的前馈网络之上，无需微调。
• 通过突出显示对已知类别流形对比偏离贡献最大的输入区域，可视化对比解释。

实验结果

研究问题

• RQ1 能否将预训练神经网络内部的隐式对比形式化并用于分布偏移下的改进推理？
• RQ2 基于结果到原因推理的对比推理，相比标准前馈式归纳推理，如何提升鲁棒性？
• RQ3 能否以非启发式、基于梯度的方式提取对比特征，以实现可靠且可解释的模型决策？
• RQ4 对比推理在不进行微调的情况下，对损坏或分布外数据的性能提升程度如何？
• RQ5 对比推理能否提供有意义的可视化解释，以补充物体识别中的因果推理？

主要发现

• 在CIFAR-10C的各种扭曲下，对比推理将平均准确率提升了3.47%，表明对数据损坏具有鲁棒性。
• 在带噪声的STL-10上，对比推理实现了2.56%的平均准确率提升，最高扭曲下提升达6.89%。
• 在VisDA的合成到真实域偏移基准上，对比推理使整体准确率绝对提升了5.48%。
• 当基础网络在扭曲数据上训练时，对比推理在所有扭曲下仍保持1.12%的平均准确率提升，最高扭曲下提升达6.87%。
• 即使每类仅使用300张训练图像，该方法仍保持或提升性能，表明在低数据环境下具有强大泛化能力。
• 基于对比推理生成的可视化解释突出了对类别预测贡献最大的输入区域，提供了超越标准激活图的可解释性。