[论文解读] M2IOSR: Maximal Mutual Information Open Set Recognition

Xin Sun, Henghui Ding+3 more|arXiv (Cornell University)|Aug 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 10

一句话总结

M2IOSR 提出了一种轻量级的仅编码器开放集识别方法，通过最大化输入图像与其多尺度潜在特征之间的互信息，以增强类别特定特征提取。通过用互信息最大化替代像素级重建，并利用 KL 散度强制实现类别条件高斯分布，M2IOSR 在多个基准测试中实现了最先进性能，同时显著降低了开放空间风险。

ABSTRACT

In this work, we aim to address the challenging task of open set recognition (OSR). Many recent OSR methods rely on auto-encoders to extract class-specific features by a reconstruction strategy, requiring the network to restore the input image on pixel-level. This strategy is commonly over-demanding for OSR since class-specific features are generally contained in target objects, not in all pixels. To address this shortcoming, here we discard the pixel-level reconstruction strategy and pay more attention to improving the effectiveness of class-specific feature extraction. We propose a mutual information-based method with a streamlined architecture, Maximal Mutual Information Open Set Recognition (M2IOSR). The proposed M2IOSR only uses an encoder to extract class-specific features by maximizing the mutual information between the given input and its latent features across multiple scales. Meanwhile, to further reduce the open space risk, latent features are constrained to class conditional Gaussian distributions by a KL-divergence loss function. In this way, a strong function is learned to prevent the network from mapping different observations to similar latent features and help the network extract class-specific features with desired statistical characteristics. The proposed method significantly improves the performance of baselines and achieves new state-of-the-art results on several benchmarks consistently.

研究动机与目标

• 解决基于自编码器的开放集识别（OSR）方法中像素级重建的过高需求问题。
• 通过聚焦于目标物体而非重建所有图像像素，改进类别特定特征提取。
• 通过约束潜在特征遵循类别条件高斯分布，降低开放空间风险。
• 通过利用互信息最大化，开发一种无需解码器的轻量级高效 OSR 模型。
• 通过精简架构和有效的特征学习策略，在标准 OSR 基准上实现最先进性能。

提出的方法

• 在多个尺度上最大化输入图像与潜在特征之间的互信息（MI），以增强输入与表示之间的相互依赖性。
• 同时最大化正样本对（来自同一图像的图像块）之间的全局 MI（全图与潜在特征）和局部 MI（图像块与潜在特征）。
• 最小化来自不同图像的负样本对之间的全局和局部 MI，以提升已知类与未知类之间的判别能力。
• 通过 KL 散度损失函数强制潜在特征遵循类别条件高斯分布，从而降低开放空间风险。
• 使用单一编码器网络，无需解码器，从而简化架构并降低模型复杂度。
• 应用多尺度局部 MI 优化，以在不同感受野层级上保留特征信息。

实验结果

研究问题

• RQ1 在不进行像素级重建的前提下，输入与潜在特征之间的互信息最大化是否能提升开放集识别中的类别特定特征提取？
• RQ2 多尺度局部互信息在 OSR 中如何促进更好的特征学习与目标定位？
• RQ3 通过 KL 散度强制实现类别条件高斯分布，在多大程度上能降低 OSR 中的开放空间风险？
• RQ4 轻量级仅编码器架构是否能在准确率与效率方面超越基于自编码器的 OSR 方法？
• RQ5 在已知/未知类别组成多样的不同基准设置下，M2IOSR 与最先进方法相比表现如何？

主要发现

• M2IOSR 在 CIFAR+10 和 CIFAR+50 基准上实现了新的最先进 F1 分数，平均 F1 分数分别为 0.924 和 0.923，显著优于先前方法。
• 在基于 MNIST 的 OSR 任务中，M2IOSR 在 Omniglot 上取得 0.924 的 F1 分数，在 MNIST-Noise 上为 0.923，在 Noise 上为 0.929，全面超越所有基线方法。
• 该方法通过将潜在特征约束为类别条件高斯分布，降低了开放空间风险，提升了对未知样本的泛化能力。
• 尽管引入了正/负样本对的 MI 优化，M2IOSR 仍保持较小的参数量（9,444k）和在 VGG-13 上合理的推理时间（0.618 ms/图像）。
• 消融实验证实，多尺度局部 MI、互信息最大化以及 KL 散度损失均对性能提升有显著贡献。
• 与基于自编码器的方法相比，M2IOSR 在目标物体定位方面表现出更优的鲁棒性，尤其在背景比例较高时。