[论文解读] Fine-Tuning a Large Vision-Language Model for Artwork's Scoring and Critique

Zhehan Zhang, Meihua Qian+5 more|arXiv (Cornell University)|Feb 9, 2026

Aesthetic Perception and Analysis被引用 0

一句话总结

论文通过对大规模视觉-语言模型（Qwen2-VL-7B）进行多任务学习微调，以对画作进行评分并生成与评判量表对齐的评语，获得高预测精度和语义接近的反馈。

ABSTRACT

Assessing artistic creativity is foundational to creativity research and arts education, yet manual scoring (e.g., Torrance Tests of Creative Thinking) is labor-intensive at scale. Prior machine-learning approaches show promise for visual creativity scoring, but many rely mainly on image features and provide limited or no explanatory feedback. We propose a framework for automated creativity assessment of human paintings by fine-tuning the vision-language model Qwen2-VL-7B with multi-task learning. Our dataset contains 1000 human-created paintings scored on a 1-100 scale and paired with a short human-written description (content or artist explanation). Two expert raters evaluated each work using a five-dimension rubric (originality, color, texture, composition, content) and provided written critiques; we use an 80/20 train-test split. We add a lightweight regression head on the visual encoder output so the model can predict a numerical score and generate rubric-aligned feedback in a single forward pass. By embedding the structured rubric and the artwork description in the system prompt, we constrain the generated text to match the quantitative prediction. Experiments show strong accuracy, achieving Pearson r > 0.97 and MAE about 3.95 on the 100-point scale. Qualitative evaluation indicates the generated feedback is semantically close to expert critiques (average SBERT cosine similarity = 0.798). The proposed approach bridges computer vision and art assessment and offers a scalable tool for creativity research and classroom feedback.

研究动机与目标

• 为画作的可扩展自动创作力评估提供动力，支持创作研究与教育。
• 开发一个联合预测分数与生成评析的多任务学习框架。
• 利用结构化评判量表和艺术品描述来约束生成的反馈以实现量表对齐。

提出的方法

• 对 Qwen2-VL-7B 进行微调，在视觉编码器上添加一个轻量级回归头以预测 1–100 分。
• 通过多任务学习在单次前向传播中实现分数预测与评析的生成。
• 将五维评判量表（原创性、色彩、质感、构图、内容）及艺术品描述嵌入系统提示中以约束输出。
• 以 80/20 的训练-测试划分评估，包含 1000 幅画作及双专家评分。
• 衡量回归精度（皮尔逊相关系数 r）和平均绝对误差（MAE）；评估文本反馈的语义相似度，使用 SBERT 余弦相似度（平均 0.798）。

实验结果

研究问题

• RQ1 是否能够对大规模视觉-语言模型进行微调，以预测画作的定量创作分数？
• RQ2 是否可能在单次前向传播中同时生成与量表对齐的评析与分数？
• RQ3 在提示中嵌入结构化的评判量表与描述，是否能将生成的反馈约束为量表对齐？
• RQ4 模型的数值预测与专家分数的相关程度如何，生成的评析与专家评析的接近程度如何？

主要发现

• 模型预测与专家分数在 100 分制上的皮尔逊相关性>0.97。
• 在 100 分制上的平均绝对误差（MAE）约为 3.95。
• 定性反馈与专家评析在语义上接近，SBERT 余弦相似度平均为 0.798。
• 该方法提供了一个将计算机视觉与艺术评估融合的可扩展工具，适用于创意研究和课堂反馈。