[论文解读] Hybrid Knowledge Routed Modules for Large-scale Object Detection

Chenhan Jiang, Hang Xu+2 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications参考文献 46被引用 58

一句话总结

HKRM 引入两个知识驱动模块（显式和隐式），它们对区域到区域的图进行推理，以提升大规模目标检测，在 VG 和 ADE 数据集上通过利用属性、关系和空间知识实现显著提升。

ABSTRACT

The dominant object detection approaches treat the recognition of each region separately and overlook crucial semantic correlations between objects in one scene. This paradigm leads to substantial performance drop when facing heavy long-tail problems, where very few samples are available for rare classes and plenty of confusing categories exists. We exploit diverse human commonsense knowledge for reasoning over large-scale object categories and reaching semantic coherency within one image. Particularly, we present Hybrid Knowledge Routed Modules (HKRM) that incorporates the reasoning routed by two kinds of knowledge forms: an explicit knowledge module for structured constraints that are summarized with linguistic knowledge (e.g. shared attributes, relationships) about concepts; and an implicit knowledge module that depicts some implicit constraints (e.g. common spatial layouts). By functioning over a region-to-region graph, both modules can be individualized and adapted to coordinate with visual patterns in each image, guided by specific knowledge forms. HKRM are light-weight, general-purpose and extensible by easily incorporating multiple knowledge to endow any detection networks the ability of global semantic reasoning. Experiments on large-scale object detection benchmarks show HKRM obtains around 34.5% improvement on VisualGenome (1000 categories) and 30.4% on ADE in terms of mAP. Codes and trained model can be found in https://github.com/chanyn/HKRM.

研究动机与目标

• 利用常识知识，在大标签空间和长尾分布下推动鲁棒的目标检测。
• 开发一个轻量级、可插拔的模块，使区域提案能够进行全局语义推理。
• 探索显式知识（属性、关系）和隐式知识（空间/布局）形式以引导推理。
• 证明将知识感知图整合到检测中可在遮挡、小物体和稀有类别中提升性能。

提出的方法

• 定义两种知识模块：显式（基于语言的约束）和隐式（无标签约束，如空间布局）。
• 为每种知识形式构建适应性区域到区域的图，并通过以外部知识图 Q 为条件的多层感知机（MLP）学习边 e_ij。
• 显式模块：通过 e_ij = MLP_Q(alpha(f_i, f_j)) 学习边，其中 alpha(...) 是某种聚合，受 Q 中真实类别关系的监督；使用规范化的边权传播特征得到 f'，并拼接用于检测。
• 隐式模块：通过 MLP 学习多个区域图以捕捉隐式空间约束；组合这些图以在共享变换 W_g 下生成 g'。
• 将所有模块的输出（f'_a、f'__r、g'）结合并输入到边界框回归和分类层，以获得最终结果。
• 通过将 HKRM 插入到类似 Faster R-CNN 的架构并在 VG（1000/3000 类别）和 ADE 上评估，来演示其泛化性。

实验结果

研究问题

• RQ1 将显式和隐式知识模块整合到基于区域的检测器中，是否能提升大规模对象检测？
• RQ2 不同的知识形式（属性、关系、空间布局）在检测性能上是否贡献不同，尤其是对稀有类别？
• RQ3 基于外部知识的逐图像自适应区域图是否能实现比基线逐区域预测更好的全局推理和精度？
• RQ4 HKRM 能否跨数据集（VG、ADE）迁移，并扩展到大量类别？

主要发现

• HKRM 相对于 Faster R-CNN 基线在 mAP 上取得显著提升：在 VG 的 1000 类情形约提升 34.5%，在 ADE 提升 30.4%。
• 在 VG 3000 类时亦达到 26.5% 的提升。
• 显式知识（属性/关系）与隐式知识（空间）各自对性能有贡献，综合的 HKRM 提供最强的提升。
• 对于稀有类别，HKRM 展示显著提升（在前150个最不常见类别上平均 mAP 提升约 1.5%）。
• 在 PASCAL VOC 和 MS COCO 上，使用所有三个知识模块的 HKRM 相对于基线有提升（例如 VOC：78.8% mAP vs 75.1% 基线；COCO：37.8% mAP vs 34.2% 基线）。
• HKRM 保持轻量级（额外参数约 ~2%），且易于与现有检测器集成。