[论文解读] CultiVerse: Towards Cross-Cultural Understanding for Paintings with Large Language Model

Wei Zhang, Wong Kam-Kwai+6 more|arXiv (Cornell University)|May 1, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

CultiVerse 是一种混合主动性视觉分析系统，利用大型语言模型（LLMs）通过解决象征性解释、跨文化符号对齐和文化规范验证，增强对传统中国绘画（TCPs）的跨文化理解。它通过一个三阶段工作流程——源文化提取、文化交换和目标文化外推——使用户能够探索多维度的象征意义，相较于基线 LLM 交互，在用户参与度、偶然发现和文化细微解读方面表现出显著提升。

ABSTRACT

The integration of new technology with cultural studies enhances our understanding of cultural heritage but often struggles to connect with diverse audiences. It is challenging to align personal interpretations with the intended meanings across different cultures. Our study investigates the important factors in appreciating art from a cross-cultural perspective. We explore the application of Large Language Models (LLMs) to bridge the cultural and language barriers in understanding Traditional Chinese Paintings (TCPs). We present CultiVerse, a visual analytics system that utilizes LLMs within a mixed-initiative framework, enhancing interpretative appreciation of TCP in a cross-cultural dialogue. CultiVerse addresses the challenge of translating the nuanced symbolism in art, which involves interpreting complex cultural contexts, aligning cross-cultural symbols, and validating cultural acceptance. CultiVerse integrates an interactive interface with the analytical capability of LLMs to explore a curated TCP dataset, facilitating the analysis of multifaceted symbolic meanings and the exploration of cross-cultural serendipitous discoveries. Empirical evaluations affirm that CultiVerse significantly improves cross-cultural understanding, offering deeper insights and engaging art appreciation.

研究动机与目标

• 解决艺术欣赏中因复杂、语境依赖的象征意义而产生的跨文化误解问题，特别是针对传统中国绘画（TCPs）。
• 通过整合 LLM 与精选的文化知识及多模态交互，弥合理解艺术时的文化与语言障碍。
• 设计一个支持多样化用户（尤其是非专家或非母语文化背景用户）更深入、更具包容性地参与文化艺术品的系统。
• 通过支持好奇心驱动、上下文感知的跨文化象征意义探索，促进偶然的文化发现。
• 通过用户导向的情感分析评估和示例驱动的提示，验证文化规范并避免刻板印象。

提出的方法

• CultiVerse 采用三阶段混合主动性工作流程：(1) 源文化提取，利用精选数据集（TCP-CND）识别并语境化传统中国绘画中的视觉与文化元素；(2) 文化交换，通过 LLM 生成内容比较并对齐跨文化符号；(3) 目标文化外推，引导用户通过文化适宜的视角探索象征意义。
• 系统将用户友好的交互界面与 LLM 相结合，支持基于上下文的探索，使用预设的、以参考为驱动的提示，降低认知负荷，引导首次使用者。
• 利用 LLM 的预训练知识（如 GPT-4 Turbo）进行象征性解释，同时结合 TCP-CND 数据集中的领域特定知识，以提高准确性并减少幻觉。
• CultiVerse 使用基于情感的语气分析来验证 LLM 生成解释的文化适宜性，确保与文化规范一致，减少刻板印象性误读。
• 多模态输出，包括 LLM 生成的描述和 GPT-4 Turbo 生成的图像（例如用于象征比较），增强了阐释深度与审美参与度。
• 系统结合用户先前的文化知识，减少对 LLM 在文化意识方面的依赖，尤其针对较少占主导地位或代表性不足的文化视角。

实验结果

研究问题

• RQ1 如何有效利用 LLM 解释和说明在不同文化语境下传统中国绘画中多维度的象征意义？
• RQ2 相较于标准 LLM 提示，混合主动性、文化感知的界面在艺术阐释中在多大程度上提升了跨文化理解？
• RQ3 文化规范和用户背景在 LLM 辅助艺术探索过程中如何影响生成洞察的质量与多样性？
• RQ4 整合精选文化知识与示例驱动提示是否能提升用户参与度并减少基于 LLM 的艺术分析中的文化误读？
• RQ5 在使用 LLM 增强的视觉分析系统时，偶然发现对促进更深层次的跨文化欣赏起到了何种作用？

主要发现

• CultiVerse 显著提升了用户参与度，相较于仅使用 LLM 的基线交互，激发了更多元化且富有洞察力的问题，表明对话质量得到提升。
• 非母语文化背景的用户报告了独特的偶然发现——例如，受中国绘画启发创作尼泊尔诗歌——表明该系统具备促进跨文化创造力的能力。
• 对源文化有深厚熟悉度的参与者获得了更深入的见解，但来自不同或不熟悉文化背景的用户也报告了有意义且新颖的理解，表明系统的包容性。
• 系统聚焦于文化规范与象征语境，其解释比通用 LLM 提示更准确、更符合语境，尤其在处理复杂符号转换（如莲花与鸳鸯组合 vs. 单独的莲花）方面表现更优。
• 尽管 LLM 在识别细微视觉线索（如戴帽与飞翔的猎鹰）方面存在局限，CultiVerse 通过整合精选数据与用户引导探索，提升了可靠性与阐释深度。
• 基于情感的验证方法有助于减少刻板印象性解释，但在处理复合或历史语境复杂的符号时仍面临挑战。