[논문 리뷰] Fine-Tuning a Large Vision-Language Model for Artwork's Scoring and Critique

Zhehan Zhang, Meihua Qian외 5명|arXiv (Cornell University)|2026. 02. 09.

Aesthetic Perception and Analysis인용 수 0

한 줄 요약

본 논문은 대형 비전-언어 모델(Qwen2-VL-7B)을 다중 작업 학습으로 미세조정하여 그림을 점수화하고 루브릭에 맞춘 비평을 생성하며, 높은 예측 정확도와 의미적으로 근접한 피드백을 달성한다.

ABSTRACT

Assessing artistic creativity is foundational to creativity research and arts education, yet manual scoring (e.g., Torrance Tests of Creative Thinking) is labor-intensive at scale. Prior machine-learning approaches show promise for visual creativity scoring, but many rely mainly on image features and provide limited or no explanatory feedback. We propose a framework for automated creativity assessment of human paintings by fine-tuning the vision-language model Qwen2-VL-7B with multi-task learning. Our dataset contains 1000 human-created paintings scored on a 1-100 scale and paired with a short human-written description (content or artist explanation). Two expert raters evaluated each work using a five-dimension rubric (originality, color, texture, composition, content) and provided written critiques; we use an 80/20 train-test split. We add a lightweight regression head on the visual encoder output so the model can predict a numerical score and generate rubric-aligned feedback in a single forward pass. By embedding the structured rubric and the artwork description in the system prompt, we constrain the generated text to match the quantitative prediction. Experiments show strong accuracy, achieving Pearson r > 0.97 and MAE about 3.95 on the 100-point scale. Qualitative evaluation indicates the generated feedback is semantically close to expert critiques (average SBERT cosine similarity = 0.798). The proposed approach bridges computer vision and art assessment and offers a scalable tool for creativity research and classroom feedback.

연구 동기 및 목표

• 창의성 연구와 교육을 지원하기 위해 그림에 대한 확장 가능한 자동 창의성 평가를 동기 부여한다.
• 점수를 예측하고 비평을 생성하는 다중 작업 학습 프레임워크를 개발한다.
• 구조화된 루브릭과 작품 설명을 활용하여 생성된 피드백이 루브릭 정합성을 따르도록 제약한다.

제안 방법

• 시각 인코더에 경량 회귀 헤드를 추가로 두고 Qwen2-VL-7B를 미세조정하여 1–100 점수를 예측한다.
• 단일 순전파에서 점수 예측과 비평 생성을 가능하게 하기 위해 다중 작업 학습을 사용한다.
• 다섯 차원 루브릭(독창성, 색채, 질감, 구성, 내용)과 작품 설명을 시스템 프롬프트에 삽입하여 출력이 루브릭에 맞도록 제약한다.
• 1000점의 그림에 대해 80/20 학습-테스트 분할과 이중 전문가 평가를 사용하여 평가한다.
• 회귀 정확도(Pearson r)와 평균 절대 오차(MAE)를 측정하고; SBERT 코사인 유사도(avg 0.798)로 텍스트 피드백의 의미론적 유사성을 평가한다.

실험 결과

연구 질문

• RQ1 대형 비전-언어 모델을 미세조정하여 그림에 대한 정량적 창의성 점수를 예측할 수 있는가?
• RQ2 단일 순전파에서 점수 외에 루브릭에 맞춘 비평을 생성하는 것이 가능한가?
• RQ3 프롬프트에 구조화된 루브릭과 설명을 삽입하는 것이 생성된 피드백을 루브릭 정합성으로 제약하는가?
• RQ4 모델의 수치 예측이 전문가 점수와 얼마나 잘 상관하는가 및 생성된 피드백이 전문가 비평에 얼마나 근접하는가?

주요 결과

• 모델 예측과 전문가 점수(100점 척도) 간의 피어슨 상관계수 > 0.97.
• 100점 척도에서 평균 절대 오차(MAE) 약 3.95.
• 정성적 피드백은 SBERT 코사인 유사도 평균 0.798로 전문가 비평에 의미적으로 근접하다.
• 이 방법은 창의성 연구와 교실 피드백을 위한 컴퓨터 비전과 미술 평가를 연결하는 확장 가능한 도구를 제공한다.