[论文解读] Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees

Daniel Zoran, Balaji Lakshminarayanan+1 more|arXiv (Cornell University)|Feb 28, 2017

Anomaly Detection Techniques and Applications参考文献 11被引用 7

一句话总结

本文提出可微分边界树（differentiable boundary trees），一种通过使树遍历过程可微，从而实现k近邻（k-NN）方法端到端深度表征学习的方法。通过使用随机遍历公式对树结构进行反向传播，该方法学习到紧凑且可解释的表征，显著提升了k-NN性能，在仅使用25个树节点的情况下，MNIST测试误差低于2%。

ABSTRACT

Nearest neighbor (kNN) methods have been gaining popularity in recent years in light of advances in hardware and efficiency of algorithms. There is a plethora of methods to choose from today, each with their own advantages and disadvantages. One requirement shared between all kNN based methods is the need for a good representation and distance measure between samples. We introduce a new method called differentiable boundary tree which allows for learning deep kNN representations. We build on the recently proposed boundary tree algorithm which allows for efficient nearest neighbor classification, regression and retrieval. By modelling traversals in the tree as stochastic events, we are able to form a differentiable cost function which is associated with the tree's predictions. Using a deep neural network to transform the data and back-propagating through the tree allows us to learn good representations for kNN methods. We demonstrate that our method is able to learn suitable representations allowing for very efficient trees with a clearly interpretable structure.

研究动机与目标

• 为解决k-NN方法中学习有效、数据驱动表征的挑战，传统方法依赖手工设计或固定的距离度量。
• 通过将k-NN推理过程中的树遍历可微化，实现深度神经网络与k-NN推理的端到端训练。
• 构建紧凑且可解释的树结构，用于存储典型样本与边界样本，提升模型可解释性。
• 证明所学习的表征在k-NN效率与性能方面可超越原始特征甚至直接训练的分类器。

提出的方法

• 该方法将树遍历建模为随机决策，使反向传播能够通过离散路径选择过程。
• 基于选择特定遍历路径的概率，推导出可微分的损失函数，从而实现梯度流向表征网络。
• 深度神经网络将输入数据映射到表征空间，使通过边界树进行k-NN查询更加准确高效。
• 边界树在线构建：每个查询被遍历至最近的节点，若分类错误，则该查询成为新的子节点，从而保留类别边界的穿越。
• 该方法采用对离散遍历的可微分松弛，使网络参数可通过反向传播进行梯度更新。
• 最终模型学习到的表征在嵌入空间中能清晰分离各类，从而实现小型但高性能的树结构。

实验结果

研究问题

• RQ1 我们能否通过端到端训练，学习到既准确又高效的k-NN方法深度表征？
• RQ2 如何使离散的树遍历过程可微，以实现通过k-NN推理机制的反向传播？
• RQ3 所得到的表征是否能生成紧凑、可解释的边界树，仅存储典型样本与边界样本？
• RQ4 所学习的表征在k-NN性能与树规模方面，是否能超越原始特征或直接训练的分类器？

主要发现

• 该方法在边界树仅使用25个节点的情况下，MNIST测试误差低于2%，显著优于使用原始像素特征的结果。
• t-SNE可视化显示，所学习的20维表征在分离MNIST类别方面，比直接训练的分类器的特征更为清晰。
• 在分类任务上直接训练深度网络所得到的表征，其k-NN性能较差，表现为更高的误差率与更大的树规模。
• 在CIFAR-10上，基于预训练VGG风格表征、仅使用100个样本训练的边界树，实现了13.06%的测试误差，且仅需22个节点。
• 随着训练的进行，树中节点数量显著减少——训练结束时降至约25个节点，表明表征质量得到提升。