[论文解读] Hierarchical Object Detection with Deep Reinforcement Learning

Míriam Bellver, Xavier Giró-i-Nieto+2 more|arXiv (Cornell University)|Nov 11, 2016

Reinforcement Learning in Robotics参考文献 19被引用 86

一句话总结

本文提出一种基于深度强化学习的层次化目标检测框架，其中智能体按顺序聚焦于图像区域以检测目标。该方法通过为每个区域提取高分辨率特征，优于基于特征裁剪的基线模型，在极少区域提议的情况下实现优异的检测性能。

ABSTRACT

We present a method for performing hierarchical object detection in images guided by a deep reinforcement learning agent. The key idea is to focus on those parts of the image that contain richer information and zoom on them. We train an intelligent agent that, given an image window, is capable of deciding where to focus the attention among five different predefined region candidates (smaller windows). This procedure is iterated providing a hierarchical image analysis.We compare two different candidate proposal strategies to guide the object search: with and without overlap. Moreover, our work compares two different strategies to extract features from a convolutional neural network for each region proposal: a first one that computes new feature maps for each region proposal, and a second one that computes the feature maps for the whole image to later generate crops for each region proposal. Experiments indicate better results for the overlapping candidate proposal strategy and a loss of performance for the cropped image features due to the loss of spatial resolution. We argue that, while this loss seems unavoidable when working with large amounts of object candidates, the much more reduced amount of region proposals generated by our reinforcement learning agent allows considering to extract features for each location without sharing convolutional computation among regions.

研究动机与目标

• 开发一种由强化学习智能体引导的自顶向下层次化目标检测系统。
• 研究区域层次设计（重叠与非重叠）对检测性能的影响。
• 比较两种特征提取策略：逐区域特征计算与基于整幅图像的共享特征图。
• 评估尽管计算成本增加，高分辨率区域特异性特征是否能提升检测性能。
• 证明减少区域提议数量可在不引入显著开销的情况下实现有效的逐区域特征提取。

提出的方法

• 智能体使用深度Q-learning，决定在每一步从五个预定义区域（四个象限和中心）中聚焦哪一个。
• 智能体执行自顶向下的图像扫描，通过迭代方式逐步细化关注区域，直至检测到目标。
• 评估两种区域提议策略：重叠与非重叠区域候选。
• 比较两种特征提取方法：Image-Zooms（逐区域独立计算特征）与Pool45-Crops（通过ROI池化在区域间共享特征图）。
• 智能体使用基于预测框与真实框之间IoU的稀疏密集奖励的强化学习框架进行训练。
• 实验使用PASCAL VOC 2007数据集，并通过平均精度均值（mAP）和召回率评估性能。

实验结果

研究问题

• RQ1 层次化区域提议设计（重叠与非重叠）如何影响检测性能与召回率？
• RQ2 逐区域特征提取（Image-Zooms）是否在目标检测精度上优于共享特征图提取（Pool45-Crops）？
• RQ3 在使用共享特征时，ROI池化导致的空间分辨率损失在多大程度上降低了检测性能？
• RQ4 智能体通常需要多少层级才能检测到目标？这反映了目标尺度与定位的何种特性？
• RQ5 强化学习智能体是否能仅通过少量区域提议实现高检测性能？此类方案存在哪些局限性？

主要发现

• 重叠区域提议策略在精度与召回率上均显著优于非重叠策略。
• Image-Zooms模型（逐区域独立计算特征）的检测性能优于Pool45-Crops模型。
• Pool45-Crops模型性能下降的原因在于ROI池化导致特征图空间分辨率降低，尤其对小目标影响显著。
• 超过80%的目标在少于三个层级内被检测到，表明对大目标或中心位置目标具有高效率。
• 使用真实标注引导的上限模型仅实现0.5的召回率，凸显了固定区域层次结构在覆盖所有目标位置方面的固有局限性。
• 尽管计算成本较高，逐区域特征提取仍具可行性和优势，因为智能体实际考虑的区域提议数量大幅减少。