[论文解读] Explaining Black Boxes on Sequential Data using Weighted Automata
本文提出一种谱算法，从黑箱模型中提取加权自动机（WAs），这些模型为序列符号数据分配实数值输出，且无需访问训练数据或内部表示。通过将黑箱作为预言机进行查询，该方法推断出一个能以高保真度近似模型行为的WA，即使在状态数较少的情况下也能实现接近最优的性能，该方法在48个合成数据集和2个真实数据集上训练的RNN上得到了验证。
Understanding how a learned black box works is of crucial interest for the future of Machine Learning. In this paper, we pioneer the question of the global interpretability of learned black box models that assign numerical values to symbolic sequential data. To tackle that task, we propose a spectral algorithm for the extraction of weighted automata (WA) from such black boxes. This algorithm does not require the access to a dataset or to the inner representation of the black box: the inferred model can be obtained solely by querying the black box, feeding it with inputs and analyzing its outputs. Experiments using Recurrent Neural Networks (RNN) trained on a wide collection of 48 synthetic datasets and 2 real datasets show that the obtained approximation is of great quality.
研究动机与目标
- 解决处理序列符号数据的黑箱模型的全局可解释性挑战。
- 开发一种从黑箱中提取加权自动机（WA）的方法，且无需访问训练数据或内部模型结构。
- 实现使用更简单、可解释的WAs来近似复杂、非线性的模型（如RNNs）。
- 在合成和真实世界的序列数据集上评估WA提取的质量。
- 证明WA近似可在低状态数下实现高性能，从而提升可解释性和效率。
提出的方法
- 该方法将黑箱视为预言机，向其输入序列并分析其输出的实数值，以推断出一个加权自动机。
- 采用谱算法，利用基于前缀和后缀基向量的线性代数框架来提取WA。
- 该算法从输入序列中构建前缀和后缀的基，并利用它们的内积来估计转移和输出权重。
- 所得低秩近似的秩控制了提取出的WA的复杂度和准确性。
- 该方法依赖于黑箱函数可表示为基上的双线性形式的事实，从而实现谱分解。
- 最终的WA通过最小化困惑度或NDCG得分进行训练，以衡量其对原始黑箱输出的保真度。
实验结果
研究问题
- RQ1能否在不访问内部结构或训练数据的情况下，有效从将序列映射到实数值的黑箱模型中提取加权自动机？
- RQ2提取出的WA在序列数据上对循环神经网络（RNN）的行为近似效果如何？
- RQ3秩和基大小对WA近似质量有何影响？
- RQ4提取出的WA能否提供黑箱模型决策过程的有意义且可解释的表示？
- RQ5与原始黑箱模型相比，谱WA提取方法是否实现了具有竞争力的性能？
主要发现
- 提取出的加权自动机在真实数据集PAutomaC Nat. 2上的困惑度达到1.35，接近RNN自身的熵（最优值为1.25），表现出极高的保真度。
- 即使仅有25个状态，WA近似也能实现接近最优的性能，表明其在低复杂度下具有强大的泛化能力。
- 增加基的大小（例如从前缀和后缀的300个增至400个）显著提升了NDCG@5得分，表明更大的基能提升近似质量。
- WA的质量随秩的提高而改善，但在低秩下已能实现合理性能，支持使用紧凑且可解释的模型。
- 该方法在多种任务中表现出鲁棒性，包括合成序列生成和真实NLP数据集（如SPiCe和PAutomaC）。
- 该方法实现了高效的推理，因为WA的计算仅涉及每个符号的矩阵乘积，而RNN则依赖非线性运算。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。