[论文解读] CamSwarm: Instantaneous Smartphone Camera Arrays for Collaborative Photography

Yan Wang, Jue Wang+1 more|arXiv (Cornell University)|Jul 4, 2015

Advanced Vision and Imaging参考文献 14被引用 32

一句话总结

CamSwarm 通过使用二维码配对、实时视觉反馈进行相机定位以及无线同步，实现了智能手机相机阵列的即时、协作式消费级摄影，可捕捉同步的多角度照片和子弹时间视频。与简化方案相比，该系统在成功率和视觉质量方面显著更优，用户平均仅需 1.33 次尝试即可成功拍摄可用的子弹时间视频。

ABSTRACT

Camera arrays (CamArrays) are widely used in commercial filming projects for achieving special visual effects such as bullet time effect, but are very expensive to set up. We propose CamSwarm, a low-cost and lightweight alternative to professional CamArrays for consumer applications. It allows the construction of a collaborative photography platform from multiple mobile devices anywhere and anytime, enabling new capturing and editing experiences that a single camera cannot provide. Our system allows easy team formation; uses real-time visualization and feedback to guide camera positioning; provides a mechanism for synchronized capturing; and finally allows the user to efficiently browse and edit the captured imagery. Our user study suggests that CamSwarm is easy to use; the provided real-time guidance is helpful; and the full system achieves high quality results promising for non-professional use. A demo video is provided at https://www.youtube.com/watch?v=LgkHcvcyTTM.

研究动机与目标

• 为消费级使用创建一种低成本、易用的替代方案，以取代昂贵的专业相机阵列。
• 实现智能手机用户之间的动态、实时协作，以快速组建临时相机阵列。
• 通过实时用户引导与同步，提升多角度摄影与子弹时间视频的质量与可用性。
• 为移动设备上的多角度图像浏览与子弹时间视频编辑提供直观的用户界面。

提出的方法

• 使用基于二维码的配对方式，快速将附近智能手机组合成协作式相机群组。
• 通过共享界面实时可视化相机位置与朝向，引导用户围绕主体形成最优的圆形排列。
• 通过无线通信同步所有智能手机，实现快门释放的同步触发。
• 利用移动设备上的陀螺仪数据，实现对拍摄的多角度图像进行沉浸式、交互式浏览。
• 应用视图插值技术，合成中间帧以实现子弹时间视频效果。
• 集成协作式反馈回路，用户根据实时视觉反馈在过程中动态调整相机姿态，以优化整体构图。

实验结果

研究问题

• RQ1 低成本、基于智能手机的系统能否实现消费级摄影中相机阵列的即时组建？
• RQ2 与无引导系统相比，实时视觉引导是否显著提升多角度拍摄的质量与成功率？
• RQ3 同步机制如何影响子弹时间视频输出的感知质量与可用性？
• RQ4 用户交互与协作定位在多大程度上影响最终影像的视觉效果？

主要发现

• 完整版 CamSwarm 系统在成功拍摄子弹时间视频时，平均仅需 1.33 次尝试，显著优于无同步、无引导系统（4.0 次）和有同步但无引导系统（3.67 次）。
• 用户对完整系统拍摄的子弹时间视频质量评分平均为 3.4（满分 5 分），高于基线系统（3.1 和 2.9 分）。
• 实时视觉引导显著提升了视觉质量，用户报告在相机构图与整体视觉吸引力方面满意度更高。
• 同步机制提升了感知稳定性与“时间冻结”的感觉，用户问卷反馈证实了这一点。
• 系统在最多八台设备下仍保持稳定，四名用户组成的团队在完成初步培训后，通常可在一分钟内完成设置。
• 视图插值伪影是用户批评最多的方面，尤其在复杂场景中，表明需借助更先进的插值方法加以改进。