[论文解读] Discover and Learn New Objects from Documentaries

Kai Chen, Hang Song+2 more|arXiv (Cornell University)|Jul 30, 2017

Multimodal Machine Learning Applications参考文献 42被引用 4

一句话总结

本论文提出一种弱监督框架，通过联合建模视觉、语言和几何线索，在无需任何标注边界框的情况下，从纪录片电影中学习目标检测器。该方法通过迭代优化发现物体类别、分组轨迹片段，并提升检测性能，在发现的类别上达到30.7%的mAP，且在主要类别上的表现与全监督学习相当。

ABSTRACT

Despite the remarkable progress in recent years, detecting objects in a new context remains a challenging task. Detectors learned from a public dataset can only work with a fixed list of categories, while training from scratch usually requires a large amount of training data with detailed annotations. This work aims to explore a novel approach -- learning object detectors from documentary films in a weakly supervised manner. This is inspired by the observation that documentaries often provide dedicated exposition of certain object categories, where visual presentations are aligned with subtitles. We believe that object detectors can be learned from such a rich source of information. Towards this goal, we develop a joint probabilistic framework, where individual pieces of information, including video frames and subtitles, are brought together via both visual and linguistic links. On top of this formulation, we further derive a weakly supervised learning algorithm, where object model learning and training set mining are unified in an optimization procedure. Experimental results on a real world dataset demonstrate that this is an effective approach to learning new object detectors.

研究动机与目标

• 解决在缺乏昂贵边界框标注的情况下，为新类别训练目标检测器的挑战。
• 探索纪录片作为视觉与语言信息丰富、弱监督的来源，用于目标检测。
• 开发一种联合概率框架，以无监督方式发现物体类别、检测轨迹片段并学习检测器。
• 在单一优化过程中统一物体模型学习与训练集挖掘，通过迭代优化逐步提升检测性能。

提出的方法

• 构建一个联合概率模型，整合外观、几何和定位因素，以关联视觉帧、字幕和物体轨迹片段。
• 使用共指消解技术，将不同帧和字幕中的代词与同义词链接到相同的视觉实体。
• 利用视觉嵌入建模外观相似性，将轨迹片段聚类为一致的物体类别。
• 应用几何势函数，基于时空一致性合并轨迹片段，区分强连接与弱连接。
• 引入定位因子，结合语言与视觉证据，将关键词（名词）与视觉轨迹片段关联。
• 执行迭代优化，同步精炼目标检测、轨迹片段分组与关键词定位，随着迭代次数增加，模型准确率逐步提升。

实验结果

研究问题

• RQ1 能否在无需任何人工标注边界框或类别先验知识的情况下，从纪录片电影中学习目标检测器？
• RQ2 如何有效对齐视觉与语言信号，以发现物体类别及其对应的轨迹片段？
• RQ3 结合外观、几何与定位因素的联合概率框架，在弱监督目标检测中能提升多少性能？
• RQ4 对检测、分组与定位的迭代优化，在未见类别上的检测性能提升程度如何？

主要发现

• 该框架在无需任何类别先验知识的情况下，成功发现了野生动物纪录片中的大多数动物类别。
• 经过迭代训练，发现类别上的mAP从20.6%提升至30.7%，证明了其有效的自我优化能力。
• 所有类别上的整体检测mAP从8.0%提升至8.7%，表明联合学习带来了稳定性能增益。
• 定位模块显著优于词频统计基线，在第2轮迭代时对真实标签的准确率达到了93.5%。
• 几何势函数，尤其是强连接，有效将碎片化的轨迹片段合并为连贯的物体轨迹。
• 失败案例主要源于小物体/遮挡物体、低tf-idf关键词，或字幕与帧之间的时间对齐错误。