[论文解读] Human Extraction and Scene Transition utilizing Mask R-CNN

Minkesh Asati, Worranitta Kraisittipong+1 more|arXiv (Cornell University)|Jul 20, 2019

Advanced Neural Network Applications参考文献 7被引用 6

一句话总结

本文提出了一种使用Mask R-CNN进行图像和视频中人体提取与场景切换的方法，能够在存在遮挡的情况下精确分割多个个体。该方法实现每秒5帧的实时性能，使用户能够提取个体并将他们合成到新背景中，从而创建精心挑选的、充满欢乐的家庭与朋友视觉合集。

ABSTRACT

Object detection is a trendy branch of computer vision, especially on human recognition and pedestrian detection. Recognizing the complete body of a person has always been a difficult problem. Over the years, researchers proposed various methods, and recently, Mask R-CNN has made a breakthrough for instance segmentation. Based on Faster R-CNN, Mask R-CNN has been able to generate a segmentation mask for each instance. We propose an application to extracts multiple persons from images and videos for pleasant life scenes to grouping happy moments of people such as family or friends and a community for QOL (Quality Of Life). We likewise propose a methodology to put extracted images of persons into the new background. This enables a user to make a pleasant collection of happy facial expressions and actions of his/her family and friends in his/her life. Mask R-CNN detects all types of object masks from images. Then our algorithm considers only the target person and extracts a person only without obstacles, such as dogs in front of the person, and the user also can select multiple persons as their expectations. Our algorithm is effective for both an image and a video irrespective of the length of it. Our algorithm does not add any overhead to Mask R-CNN, running at 5 fps. We show examples of yoga-person in an image and a dancer in a dance-video frame. We hope our simple and effective approach would serve as a baseline for replacing the image background and help ease future research.

研究动机与目标

• 开发一种稳健的方法，从图像和视频中提取多个人员，同时处理由狗等物体引起的遮挡问题。
• 通过实例分割高精度隔离人体实例，实现无缝背景替换。
• 支持用户自定义选择多个个体，用于个性化地讲述快乐时刻的视觉故事。
• 在不增加基础Mask R-CNN架构计算开销的前提下，保持实时性能。
• 为未来基于人体中心的图像与视频合成研究提供简单而有效的基线。

提出的方法

• 以Mask R-CNN作为主干模型进行实例分割，为每个检测到的人生成像素级掩码。
• 应用后处理技术，根据类别标签过滤并仅保留人体实例，丢弃如狗等非人体对象。
• 实现用户引导的选择机制，支持手动或自动选择多个目标人物进行提取。
• 应用图像合成技术，将选定的人体掩码转移到新背景图像或视频帧上。
• 统一处理静态图像与视频序列，在视频应用中保持帧间一致性。
• 将推理速度优化至每秒5帧，确保无需修改Mask R-CNN架构即可实现实时性能。

实验结果

研究问题

• RQ1 Mask R-CNN能否有效适配于从复杂场景中提取多个被遮挡的人体？
• RQ2 在图像和视频中，人体实例在杂乱背景下的分割与隔离精度如何？
• RQ3 在实时应用中，扩展Mask R-CNN以实现人体提取与场景切换的性能开销如何？
• RQ4 用户能否选择性地提取并合成多个个体至新场景，同时保持视觉质量？
• RQ5 所提出的方法是否可作为未来人体中心图像与视频编辑任务的可行且高效的基线？

主要发现

• 该方法成功从图像和视频中提取多个人体实例，即使在被狗等其他物体部分遮挡的情况下也有效。
• 系统以每秒5帧的实时性能运行，适用于视频处理且无需额外计算成本。
• 用户自定义选择个体可灵活创建个性化快乐时刻视觉合集。
• 通过将人体掩码精确转移到新背景，同时保留面部表情与身体姿态，实现了高质量的合成效果。
• 该框架在多样化场景中表现出鲁棒性，包括静态图像中的瑜伽姿势和视频中的动态舞蹈序列。
• 结果证实，该方法可作为未来人体中心图像与视频编辑研究中实用且高效的基线。