[论文解读] Fast Object Placement Assessment

Li Niu, Qingyang Liu+2 more|ArXiv.org|May 28, 2022

Visual Attention and Saliency Detection被引用 5

一句话总结

本文提出了一种快速对象放置评估（FOPA）模型，通过使用前景动态滤波器、背景先验迁移和复合特征模仿，在单次前向传播中预测所有可能前景对象放置的合理性得分。该方法在实际应用中比传统慢速OPA模型快超过19,000倍，同时性能相当。

ABSTRACT

Object placement assessment (OPA) aims to predict the rationality score of a composite image in terms of the placement (e.g., scale, location) of inserted foreground object. However, given a pair of scaled foreground and background, to enumerate all the reasonable locations, existing OPA model needs to place the foreground at each location on the background and pass the obtained composite image through the model one at a time, which is very time-consuming. In this work, we investigate a new task named as fast OPA. Specifically, provided with a scaled foreground and a background, we only pass them through the model once and predict the rationality scores for all locations. To accomplish this task, we propose a pioneering fast OPA model with several innovations (i.e., foreground dynamic filter, background prior transfer, and composite feature mimicking) to bridge the performance gap between slow OPA model and fast OPA model. Extensive experiments on OPA dataset show that our proposed fast OPA model performs on par with slow OPA model but runs significantly faster.

研究动机与目标

• 解决现有慢速OPA模型因需为每个对象放置位置单独推理而效率低下的问题。
• 实现在单次模型推理中对缩放后的前景对象在背景图像上所有可能放置位置的实时评估。
• 通过从预训练的慢速OPA模型迁移知识，弥合慢速OPA与快速OPA之间的性能差距。
• 为自动广告和艺术设计等应用提供可扩展的解决方案，实现对象放置质量的快速评估。

提出的方法

• 提出一种新颖的FOPA模型，利用前景动态滤波器根据前景内容自适应调制背景特征。
• 通过使用慢速OPA（SOPA）模型的预训练权重初始化背景编码器，实现背景先验迁移，以保留空间和上下文合理性线索。
• 引入复合特征模仿，使FOPA模型的输出特征图与SOPA模型预测的对应合成图像的图像级特征保持一致。
• 采用独热缩放编码，高效处理多种前景尺度，而无需为每种尺度重新处理前景编码器。
• 端到端训练FOPA模型，损失函数结合像素级合理性监督与SOPA预测的特征级一致性。
• 设计双分支网络架构，分别对前景和背景使用独立编码器，随后进行动态滤波和得分图回归。

实验结果

研究问题

• RQ1 是否可以通过单次模型推理，预测合成图像中所有可能的对象放置的合理性得分，而非为每个位置单独处理一次？
• RQ2 如何有效从预训练的慢速OPA模型中迁移知识到快速OPA模型，以在保持性能的同时实现密集预测？
• RQ3 为实现密集合理性评分中的高精度与极快推理速度，需要哪些架构创新？
• RQ4 背景先验迁移与复合特征模仿在多大程度上提升了快速OPA模型的泛化能力与准确性？

主要发现

• 所提出的FOPA模型在OPA数据集上取得F1分数0.776和平衡准确率0.840，与SOPA基线（F1: 0.780，bAcc: 0.842）非常接近。
• FOPA在生成完整256×256合理性得分图时，推理速度比SOPA快19,000倍，每对测试样本的推理时间从310.56秒降至0.0164秒。
• FOPA的显存成本（279.90 MB）显著高于SOPA（33.50 MB），但这一代价被其巨大的速度提升和单次推理效率所抵消。
• 每对测试样本的浮点运算量（FLOPs）从SOPA的159,252.48 G降低至FOPA的31.94 G，展现出显著的计算效率。
• 合理性得分图能动态适应前景尺度变化，正确反映空间约束（例如，当对象变大时，高分区域会消失）。
• 可视化结果表明，FOPA得分图中得分最高的位置生成的合成图像合理，而得分最低的位置生成的图像则不自然，验证了模型预测的可靠性。