[论文解读] ALBA : Reinforcement Learning for Video Object Segmentation

Shreyank N Gowda, Panagiotis Eustratiadis+2 more|arXiv (Cornell University)|May 26, 2020

Visual Attention and Saliency Detection参考文献 29被引用 9

一句话总结

ALBA 提出了一种基于强化学习的框架，用于零样本视频实例分割，将该任务视为对目标提议的联合时空分组问题。它使用带有时间记忆的关系网络，实现非短视的、全局最优的分组决策，通过直接优化基于 IoU 的指标，实现了最先进性能，在 DAVIS 2017 上相比之前方法最高提升 5.5%，在 FBMS 和 YouTube-VOS 上也表现出显著优势。

ABSTRACT

We consider the challenging problem of zero-shot video object segmentation (VOS). That is, segmenting and tracking multiple moving objects within a video fully automatically, without any manual initialization. We treat this as a grouping problem by exploiting object proposals and making a joint inference about grouping over both space and time. We propose a network architecture for tractably performing proposal selection and joint grouping. Crucially, we then show how to train this network with reinforcement learning so that it learns to perform the optimal non-myopic sequence of grouping decisions to segment the whole video. Unlike standard supervised techniques, this also enables us to directly optimize for the non-differentiable overlap-based metrics used to evaluate VOS. We show that the proposed method, which we call ALBA outperforms the previous stateof-the-art on three benchmarks: DAVIS 2017 [2], FBMS [20] and Youtube-VOS [27].

研究动机与目标

• 解决零样本视频对象分割（VOS）中无需人工初始化的挑战。
• 克服监督学习在 VOS 中的局限性，如暴露偏差以及对不可微分指标（如 IoU）的次优优化。
• 开发一种方法，利用强化学习在帧间实现全局最优、非短视的分组决策。
• 实现端到端训练，直接优化重叠度评估指标（J&F、J-Mean、F-Mean）。
• 通过整合光流和循环关系推理，提升分割结果在时空上的一致性。

提出的方法

• ALBA 将 VOS 问题建模为基于目标提议、光流和外观特征的时空联合提议选择与分组问题。
• 关系神经网络计算提议与现有组之间的成对关系，实现动态、循环的标签分配。
• 通过记忆机制将前一帧的分组结果和光流信息引入决策网络，以强制实现时间一致性。
• 使用强化学习训练分配策略，采用基于交并比（IoU）的密集奖励，以优化最终分割质量。
• 使用策略梯度方法训练策略，以最大化整个视频序列上的期望累积奖励，从而实现非短视决策。
• 采用带熵正则化的探索策略，以在训练期间鼓励多样化且鲁棒的分组行为。

实验结果

研究问题

• RQ1 如何有效将强化学习应用于视频对象分割，以实现超越贪婪、监督方法的全局决策？
• RQ2 在优化不可微分指标（如 IoU）时，使用 RL 训练的非短视策略是否能优于贪婪的监督基线方法，特别是在零样本 VOS 任务中？
• RQ3 将时间记忆和光流整合到关系分组网络中，是否能提升帧间分割的一致性？
• RQ4 基于提议分组的统一框架是否能在包括 DAVIS 2017、FBMS 和 YouTube-VOS 在内的多样化基准上实现最先进性能？
• RQ5 通过 RL 直接优化 J&F 指标是否比标准的像素级交叉熵监督在 VOS 中更有效？

主要发现

• 在 DAVIS 2017 验证集上，ALBA 达到 58.4 的 J&F-Mean 分数，比之前最先进方法高出 5.5 个百分点。
• 在 FBMS 数据集上，ALBA 实现 77.6 的 J-Mean 和 84.4 的 F-score，超越所有先前方法，包括 AGS 和 RVOS。
• 在 YouTube-VOS 上，ALBA 达到 53.8 的 J-seen 和 34.4 的 J-unseen，展现出对未见物体类别的强大泛化能力。
• 消融实验表明，仅使用强化学习训练即可使性能相比监督基线提升 5.5%，凸显非短视优化的优势。
• 定性结果表明，ALBA 能够有效处理复杂场景，如人群密集的街舞和骑行序列，并正确清理噪声提议。
• ALBA 在包含运动相似性、语义多样性及领域偏移等不同挑战的数据集上均表现出鲁棒性能。