[論文レビュー] CultiVerse: Towards Cross-Cultural Understanding for Paintings with Large Language Model

Wei Zhang, Wong Kam-Kwai+6 more|arXiv (Cornell University)|May 1, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

CultiVerse は、大規模言語モデル（LLMs）を活用して、象徴的解釈、文化的な象徴の一致、文化的規範の検証に取り組む、ミックスド・イニシアチブ型のビジュアルアナリティクスシステムであり、伝統的中国画（TCPs）における文化的な理解の向上を目的としている。ユーザーは、出典文化の抽出、文化交換、ターゲット文化への外挿の3段階ワークフローを通じて、多層的な意味を探索でき、ベースラインのLLMインタラクションに比べ、ユーザーの関与度、偶然の発見、文化的に洗練された解釈の質が顕著に向上していることが示された。

ABSTRACT

The integration of new technology with cultural studies enhances our understanding of cultural heritage but often struggles to connect with diverse audiences. It is challenging to align personal interpretations with the intended meanings across different cultures. Our study investigates the important factors in appreciating art from a cross-cultural perspective. We explore the application of Large Language Models (LLMs) to bridge the cultural and language barriers in understanding Traditional Chinese Paintings (TCPs). We present CultiVerse, a visual analytics system that utilizes LLMs within a mixed-initiative framework, enhancing interpretative appreciation of TCP in a cross-cultural dialogue. CultiVerse addresses the challenge of translating the nuanced symbolism in art, which involves interpreting complex cultural contexts, aligning cross-cultural symbols, and validating cultural acceptance. CultiVerse integrates an interactive interface with the analytical capability of LLMs to explore a curated TCP dataset, facilitating the analysis of multifaceted symbolic meanings and the exploration of cross-cultural serendipitous discoveries. Empirical evaluations affirm that CultiVerse significantly improves cross-cultural understanding, offering deeper insights and engaging art appreciation.

研究の動機と目的

• 伝統的中国画（TCPs）に複雑で文脈依存的な象徴が含まれるため、芸術鑑賞における文化的誤解の問題に対処すること。
• LLMs とキュレートされた文化的知識、マルチモーダルなインタラクションを統合することで、芸術理解における文化的・言語的障壁を克服すること。
• 特に専門的でない、または母国語ではない文化的背景を持つユーザーが、文化的な実物に深く、包摂的に関与できるようにシステムを設計すること。
• 好奇心に基づいた、文脈に配慮した象徴的意味の探求を可能にすることで、偶然の文化的発見を促進すること。
• ユーザーのフィードバックに基づく感情分析と例示型プロンプトを用いて、文化的規範の検証とステレオタイプの回避を実現すること。

提案手法

• CultiVerse は、3段階のミックスド・イニシアチブ・ワークフローを採用している：(1) 出典文化抽出（TCP-CND と呼ばれるキュレート済みデータセットを用いて、TCP に含まれる視覚的および文化的要素を特定・文脈化）、(2) 文化交換（LLM 生成コンテンツを用いて、異なる文化間の象徴を比較・一致）、(3) ターゲット文化外挿（文化的に適切なレンズを通じて、象徴的意味の探求をユーザーにガイド）。
• ユーザーにやさしいインタラクティブなインターフェースを LLM と統合し、文脈に基づいた探求を支援する。事前に設定された、参照に基づくプロンプトを用いることで、認知的負荷を軽減し、初回ユーザーの導入を容易にする。
• LLMs（例：GPT-4 Turbo）の事前学習済み知識を象徴的解釈に活用するとともに、TCP-CND データセットからのドメイン固有の知識を統合することで、正確性を向上させ、幻覚を低減する。
• CultiVerse は、感情分析に基づく感情分析を用いて、LLM 生成の解釈の文化的適切性を検証し、文化的規範との整合性を確保し、ステレオタイプ的な誤解を低減する。
• LLM 生成の説明や、GPT-4 Turbo が生成する画像（例：象徴的比較用）を含むマルチモーダル出力を活用することで、解釈の深さと美的関与を高める。
• ユーザーの事前の文化的知識を統合することで、特に支配的でない、または表されにくい文化的視点に対する LLM への依存度を低減する。

実験結果

リサーチクエスチョン

• RQ1 LLMs をどのように効果的に活用することで、異なる文化的文脈における伝統的中国画の多層的象徴的意味を解釈・説明できるか？
• RQ2 ミックスド・イニシアチブ型で文化的に配慮されたインターフェースは、芸術解釈における標準的な LLM プロンプトに比べ、文化的理解の向上にどの程度寄与するか？
• RQ3 文化的規範とユーザーの背景は、LLM ヘルプ付き芸術探求におけるインサイトの質と多様性にどのように影響するか？
• RQ4 キュレートされた文化的知識と例示型プロンプトの統合は、LLM ベースの芸術分析におけるユーザー関与の向上と文化的誤解の低減に寄与するか？
• RQ5 LLM 拡張型ビジュアルアナリティクスシステムを用いた際、偶然の発見は、文化的理解の深化を促進するために果たす役割は何か？

主な発見

• CultiVerse は、ベースラインの LLM 僅でのインタラクションに比べ、より多様で洞察に満ちた質問を引き出すことで、ユーザー関与度の顕著な向上を示した。これは対話の質の向上を示している。
• 母国語ではない文化的背景のユーザーは、中国画にインspiredされたネパール語の詩を作成するなど、独自の偶然的発見を報告した。これは、システムが文化的な創造性を促進できることを示している。
• 出典文化に深い熟達を持つ参加者も深い洞察を得たが、異なる文化や馴染みの薄い文化背景のユーザーも、意味のある新しい理解を得たと報告しており、システムの包摂性が裏付けられた。
• 文化的規範と象徴的文脈に焦点を当てた結果、特に蓮と鳩の組み合わせ（例：蓮だけとは異なる意味）のような複雑な象徴の変化に対しても、一般的な LLM プロンプトよりも正確で文脈に適した解釈が得られた。
• LLM が微細な視覚的特徴（例：被服のあるフクロウ vs. 飛行中のフクロウ）を検出できないという限界はあったが、キュレート済みデータとユーザー主導の探求の統合により、信頼性と解釈の深さが向上した。
• 感情分析に基づく文化的規範の検証は、ステレオタイプ的な解釈を低減するのに役立ったが、複合的または歴史的に複雑な象徴の取り扱いには課題が残っている。