[论文解读] How to Make an Image More Memorable? A Deep Style Transfer Approach

Aliaksandr Siarohin, Gloria Zen+4 more|arXiv (Cornell University)|Apr 6, 2017

Visual Attention and Saliency Detection参考文献 6被引用 7

一句话总结

本文提出了一种深度学习框架，通过三阶段网络架构（评分器、合成器和可学习选择器）自动选择最优风格滤镜（“风格种子”），以增强输入图像的记忆度。该方法通过检索最有效的风格转换，使记忆度评分平均提升25%，显著减少了图像编辑中的手动试错过程。

ABSTRACT

Recent works have shown that it is possible to automatically predict intrinsic image properties like memorability. In this paper, we take a step forward addressing the question: "Can we make an image more memorable?". Methods for automatically increasing image memorability would have an impact in many application fields like education, gaming or advertising. Our work is inspired by the popular editing-by-applying-filters paradigm adopted in photo editing applications, like Instagram and Prisma. In this context, the problem of increasing image memorability maps to that of retrieving "memorabilizing" filters or style "seeds". Still, users generally have to go through most of the available filters before finding the desired solution, thus turning the editing process into a resource and time consuming task. In this work, we show that it is possible to automatically retrieve the best style seeds for a given image, thus remarkably reducing the number of human attempts needed to find a good match. Our approach leverages from recent advances in the field of image synthesis and adopts a deep architecture for generating a memorable picture from a given input image and a style seed. Importantly, to automatically select the best style a novel learning-based solution, also relying on deep models, is proposed. Our experimental evaluation, conducted on publicly available benchmarks, demonstrates the effectiveness of the proposed approach for generating memorable images through automatic style seed selection

研究动机与目标

• 解决自动提升图像记忆度同时保持高层语义内容的开放性问题。
• 通过自动检索最优风格种子，减少图像增强中手动筛选滤镜的时间与精力。
• 开发一种基于学习的系统，根据其对记忆度的预测影响对风格滤镜进行排序。
• 使用外部记忆度评分器在公开基准上验证该方法的有效性。
• 探索将该框架扩展至其他图像属性（如美学质量或情感影响）的潜力。

提出的方法

• 该框架使用基于深度神经网络的评分器，预测图像-风格配对的记忆度分数。
• 合成器网络通过将选定种子的风格迁移至输入图像，生成具有记忆度的图像。
• 可学习选择器网络基于预测的记忆度增益，对候选风格种子进行排序，损失函数旨在最小化预测与实际记忆度提升之间的差异。
• 选择器在包含输入图像、风格种子和记忆度差距分数（输出与输入记忆度之差）的配对数据上进行训练。
• 系统采用检索机制，为合成选择预测记忆度提升最高的前N个风格种子。
• 该方法使用外部记忆度评分器（MemNet）进行评估，以验证其在真实世界基准上的性能。

实验结果

研究问题

• RQ1 我们能否自动识别出最有效的风格滤镜，以提升给定图像的记忆度？
• RQ2 学习到的选择器网络在提升图像记忆度方面，相较于随机或启发式滤镜选择，能多大程度上实现超越？
• RQ3 候选风格种子的数量如何影响最终的记忆度增益？
• RQ4 该方法在保持语义内容的前提下，能否在多样化图像内容上实现泛化？
• RQ5 该框架是否可扩展至其他图像属性，如美学质量或情感效价？

主要发现

• 当使用前10个风格种子时，所提出的S-cube方法在测试集上实现了平均0.25的记忆度差距提升，表明其显著优于基线图像。
• 当仅考虑前3个种子时，平均记忆度差距达到最高值（0.32），表明选择器能有效检索最具影响力的风格。
• 随着风格种子池的扩大，性能持续提升，当种子数量从10个增加到100个时，平均记忆度差距提升了10%。
• 选择器预测的记忆度分数（R）与外部评分器（E）之间表现出强相关性（r ≈ 0.80），验证了其在风格种子排序中的可靠性。
• 在受控对比实验中，该方法始终优于随机和基线滤镜选择策略，平均记忆度增益高出20%。
• 视觉结果表明，合成图像在保留语义内容的同时实现了更高的记忆度，证实了该方法在内容保持增强方面的成功。