[논문 리뷰] CultiVerse: Towards Cross-Cultural Understanding for Paintings with Large Language Model

Wei Zhang, Wong Kam-Kwai외 6명|arXiv (Cornell University)|2024. 05. 01.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

CultiVerse는 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 전통 중국화(TCPs)의 상징적 해석, 다문화 상징 정렬, 문화적 규범 검증을 해결함으로써 다문화 간 이해를 향상시키는 혼합 주도형 시각적 분석 시스템이다. 사용자가 세 단계 워크플로우—원천 문화 추출, 문화 교환, 목표 문화 외삽—를 통해 다층적인 의미를 탐색할 수 있도록 지원하며, 기준 LLM 상호작용 대비 사용자 참여도, 뜻밖의 발견, 문화적으로 세밀한 해석에서의 향상을 입증한다.

ABSTRACT

The integration of new technology with cultural studies enhances our understanding of cultural heritage but often struggles to connect with diverse audiences. It is challenging to align personal interpretations with the intended meanings across different cultures. Our study investigates the important factors in appreciating art from a cross-cultural perspective. We explore the application of Large Language Models (LLMs) to bridge the cultural and language barriers in understanding Traditional Chinese Paintings (TCPs). We present CultiVerse, a visual analytics system that utilizes LLMs within a mixed-initiative framework, enhancing interpretative appreciation of TCP in a cross-cultural dialogue. CultiVerse addresses the challenge of translating the nuanced symbolism in art, which involves interpreting complex cultural contexts, aligning cross-cultural symbols, and validating cultural acceptance. CultiVerse integrates an interactive interface with the analytical capability of LLMs to explore a curated TCP dataset, facilitating the analysis of multifaceted symbolic meanings and the exploration of cross-cultural serendipitous discoveries. Empirical evaluations affirm that CultiVerse significantly improves cross-cultural understanding, offering deeper insights and engaging art appreciation.

연구 동기 및 목표

• 복잡하고 맥락에 따라 달라지는 상징성을 지닌 전통 중국화(TCPs)에 대한 예술 감상에서의 다문화 오해를 해결하기 위한 도전에 대응한다.
• LLMs와 총집된 문화 지식 및 다중모달 상호작용을 통합하여 문화 및 언어 장벽을 극복함으로써 예술 이해를 촉진한다.
• 특히 전문가나 모국어가 아닌 문화 배경을 가진 사용자들을 포함한 다양한 사용자가 문화 유산에 대해 더 깊이 있고 포용적인 방식으로 참여할 수 있도록 시스템을 설계한다.
• 호기심 기반의 맥락 인식 탐색을 통해 다문화 간 상징적 의미를 탐색함으로써 뜻밖의 문화적 발견을 촉진한다.
• 사용자 기반의 정서 기반 평가와 예시 기반 프롬프트를 통해 문화적 규범을 검증하고 스테레오타입을 방지한다.

제안 방법

• CultiVerse는 세 단계 혼합 주도 워크플로우를 적용한다: (1) 원천 문화 추출 — 정제된 데이터셋(TCP-CND)을 사용해 전통 중국화의 시각적 및 문화적 요소를 식별하고 맥락화한다. (2) 문화 교환 — LLM 생성 콘텐츠를 활용해 다양한 문화 간 상징을 비교하고 정렬한다. (3) 목표 문화 외삽 — 사용자가 문화적으로 적절한 시각에서 상징적 의미를 탐색하도록 안내한다.
• 사용자 우수성과 상호작용 가능한 인터페이스를 LLM과 통합하여 맥락 기반 탐색을 지원하며, 사전 설정된 기준 기반 프롬프트를 사용해 인지 부담을 줄이고 초보자 사용자를 안내한다.
• LLMs의 사전 학습된 지식(예: GPT-4 Turbo)을 상징적 해석에 활용하면서도, TCP-CND 데이터셋에서 유래한 도메인 전문 지식을 통합해 정확도를 향상시키고 환상적 해석을 줄인다.
• CultiVerse는 정서 기반 감정 분석을 활용해 LLM 생성 해석의 문화적 적합성을 검증하여 문화 규범과 일치시키고 스테레오타입적 오해를 줄인다.
• LLM 생성 기술적 설명과 GPT-4 Turbo가 생성한 이미지(예: 상징 비교용)를 포함한 다중모달 출력을 통해 해석의 깊이와 미학적 몰입도를 향상시킨다.
• 사용자의 사전 문화 지식을 통합해 LLM에 의존하는 문화 인식의 의존도를 줄이며, 특히 지배적이지 않거나 소외된 문화적 관점에 대해 유의미한 지원을 제공한다.

실험 결과

연구 질문

• RQ1 LLMs는 어떻게 다양한 문화 맥락에서 전통 중국화의 다층적 상징적 의미를 효과적으로 해석하고 설명할 수 있는가?
• RQ2 표준 LLM 프롬프팅 대비 혼합 주도형, 문화 인식이 가능한 인터페이스는 예술 해석에서 다문화 이해를 얼마나 향상시키는가?
• RQ3 문화 규범과 사용자 배경은 LLM 보조 예술 탐색 과정에서 생성되는 통찰의 질과 다양성에 어떤 영향을 미치는가?
• RQ4 정제된 문화 지식과 예시 기반 프롬프트의 통합은 LLM 기반 예술 분석에서 사용자 참여도 향상과 문화 오해 감소에 기여하는가?
• RQ5 LLM 증강 시각적 분석 시스템을 사용할 때, 뜻밖의 발견은 어떻게 더 깊은 다문화 예술 감상에 기여하는가?

주요 결과

• CultiVerse는 기준 LLM 전용 상호작용 대비 더 다양한 통찰력 있는 질문을 이끌어내어 사용자 참여도를 크게 향상시켰으며, 대화의 질 향상을 시사한다.
• 모국어가 아닌 문화 배경을 가진 사용자들이 뜻밖의 창의적 발견—예를 들어 중국화에서 영감을 얻어 니파르 시를 창작한 것—을 보고하여 시스템이 다문화 창의성을 촉진할 수 있음을 입증한다.
• 원천 문화에 깊이 통찰을 가진 참가자들은 더 깊은 통찰을 얻었지만, 다른 문화 배경이나 덜 익숙한 문화 배경을 가진 사용자들도 의미 있고 새로운 이해를 경험하여 시스템의 포용성을 보여준다.
• 문화 규범과 상징 맥락에 초점을 맞춘 CultiVerse는 일반적인 LLM 프롬프팅에 비해 더 정확하고 맥락에 적합한 해석을 이끌어내었으며, 특히 연꽃과 문어새가 함께 있는 경우 등 복잡한 상징의 변화를 다룰 때 유의미한 성과를 보였다.
• LLM이 미세한 시각적 특징(예: 허리케인형과 날아다니는 참새)을 탐지하는 데 한계가 있음에도 불구하고, 정제된 데이터와 사용자 주도 탐색의 통합으로 신뢰성과 해석의 깊이가 향상되었다.
• 정서 기반 검증을 통한 문화 규범 검증은 스테레오타입적 해석을 줄이는 데 기여했지만, 복합적이거나 역사적으로 복잡한 상징을 다룰 땐 여전히 도전 과제가 남아 있다.