[論文レビュー] Fine-Tuning a Large Vision-Language Model for Artwork's Scoring and Critique

Zhehan Zhang, Meihua Qian+5 more|arXiv (Cornell University)|Feb 9, 2026

Aesthetic Perception and Analysis被引用数 0

ひとこと要約

要約: 本論文は大規模なビジョン-ランゲージモデル（Qwen2-VL-7B）をマルチタスク学習で微調整し、絵画を採点し、ルーブリックに整合した批評を生成する。予測精度が高く、意味的に近いフィードバックを実現する。

ABSTRACT

Assessing artistic creativity is foundational to creativity research and arts education, yet manual scoring (e.g., Torrance Tests of Creative Thinking) is labor-intensive at scale. Prior machine-learning approaches show promise for visual creativity scoring, but many rely mainly on image features and provide limited or no explanatory feedback. We propose a framework for automated creativity assessment of human paintings by fine-tuning the vision-language model Qwen2-VL-7B with multi-task learning. Our dataset contains 1000 human-created paintings scored on a 1-100 scale and paired with a short human-written description (content or artist explanation). Two expert raters evaluated each work using a five-dimension rubric (originality, color, texture, composition, content) and provided written critiques; we use an 80/20 train-test split. We add a lightweight regression head on the visual encoder output so the model can predict a numerical score and generate rubric-aligned feedback in a single forward pass. By embedding the structured rubric and the artwork description in the system prompt, we constrain the generated text to match the quantitative prediction. Experiments show strong accuracy, achieving Pearson r > 0.97 and MAE about 3.95 on the 100-point scale. Qualitative evaluation indicates the generated feedback is semantically close to expert critiques (average SBERT cosine similarity = 0.798). The proposed approach bridges computer vision and art assessment and offers a scalable tool for creativity research and classroom feedback.

研究の動機と目的

• 絵画の創造性評価をスケーラブルに自動化する動機づけと、創造性研究・教育を支援する。
• スコア予測と批評生成を jointly するマルチタスク学習フレームワークを開発する。
• 構造化ルーブリックと artworks の説明を組み込んで、生成フィードバックをルーブリック整合に制約する。

提案手法

• 視覚エンコーダの軽量回帰ヘッドを用いて Qwen2-VL-7B を微調整し、1–100 点のスコアを予測する。
• スコア予測と批評生成を単一のフォワードパスで可能にするマルチタスク学習を利用する。
• 五次元のルーブリック（独創性、色、質感、構図、内容）と artwork の説明をシステムプロンプトに埋め込み、出力を整合させる。
• 1000 点の絵画と二重の専門家評価を用いた80/20 の訓練-テスト分割で評価する。
• 回帰精度（ピアソン r）と平均絶対誤差（MAE）を測定し、テキストフィードバックの意味論的類似性を SBERT コサイン類似度（平均 0.798）で評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模なビジョン-ランゲージモデルを微調整して絵画の定量的創造性スコアを予測できるか。
• RQ2 単一のフォワードパスでスコアと整合する批評を生成できるか。
• RQ3 プロンプトに構造化されたルーブリックと説明を埋め込むと、生成フィードバックがルーブリック整合に制約されるか。
• RQ4 モデルの数値予測と専門家スコアの相関はどの程度か、生成された批評は専門家の批評にどれだけ近いか。

主な発見

• モデルの予測と専門家スコアとのピアソン相関が100点スケールで > 0.97。
• 100点スケールでの平均絶対誤差（MAE）は約 3.95。
• SBERT コサイン類似度の平均が 0.798 で、定性的フィードバックが専門家批評に意味的に近い。
• この手法は創造性研究と教室でのフィードバックのための、Computer Vision と美術評価を結ぶスケーラブルなツールを提供する。