[논문 리뷰] Towards Measuring and Modeling "Culture" in LLMs: A Survey

Muhammad Farid Adilazuarda, Sagnik Mukherjee외 6명|arXiv (Cornell University)|2024. 03. 05.

Wikis in Education and Collaboration인용 수 4

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)에서 문화적 표현을 다룬 39篇의 NLP 논문을 분석하여, 문화의 정의 부족, 의미적 도메인 및 '관련성(aboutness)'과 같은 미충분한 탐색을 받은 문화적 대체지표, 그리고 탄력성과 해석 가능성에 대한 방법론적 약점들을 규명한다. 이 논문은 인구통계학적, 의미적, 언어-문화적 차원을 아우르는 문화적 대체지표를 분류하기 위한 프레임워크를 제안하며, 통합적인 문화적 포함을 달성하기 위해 다학문적, 多국어적, 탄력성 있는 연구를 촉구한다.

ABSTRACT

We present a survey of more than 90 recent papers that aim to study cultural representation and inclusion in large language models (LLMs). We observe that none of the studies explicitly define "culture, which is a complex, multifaceted concept; instead, they probe the models on some specially designed datasets which represent certain aspects of "culture". We call these aspects the proxies of culture, and organize them across two dimensions of demographic and semantic proxies. We also categorize the probing methods employed. Our analysis indicates that only certain aspects of ``culture,'' such as values and objectives, have been studied, leaving several other interesting and important facets, especially the multitude of semantic domains (Thompson et al., 2020) and aboutness (Hershcovich et al., 2022), unexplored. Two other crucial gaps are the lack of robustness of probing techniques and situated studies on the impact of cultural mis- and under-representation in LLM-based applications.

연구 동기 및 목표

• 최근 LLMs에 관한 NLP 연구에서 문화가 어떻게 다뤄지는지, 특히 편향과 표현과의 관계에서 분석하기 위해.
• 연구들 사이에서 일관된 문화 정의의 부족과 그로 인한 연구의 분열을 규명하기 위해.
• 39편의 논문을 대상으로 한 데이터셋에서 사용된 문화적 대체지표—인구통계학적, 의미적, 언어-문화적—를 분류하기 위해.
• 관련성, 친족 관계, 시간, 신체적·정신적 세계관 개념 등 아직 미충분한 탐색을 받은 문화적 차원을 부각하기 위해.
• 의미 있는 문화적 포함을 달성하기 위해 더 탄력적이고 해석 가능한, 다국어적, 다학문적인 연구를 촉구하기 위해.

제안 방법

• LLMs의 문화적 표현, 편향 또는 인지와 관련된 최근 39편의 NLP 논문을 체계적으로 조사하였다.
• 문화적 대체지표를 세 가지 차원—인구통계학적(예: 지역, 종교), 의미적(예: 가치, 규범), 언어-문화적(예: 예절, 어조 스타일)—으로 분류하였다.
• 연구에서 사용된 탐색 방법을 분석하여, 블랙박스 프롬프트에 의존하고 백색상자 해석 가능성 기법이 부족함을 밝혀냈다.
• 데이터셋의 한계를 평가하여, 특히 영어 데이터의 지배적 우세성과 문화적 요소의 번역 불가능성 문제를 지적하였다.
• 데이터셋과 문화적 대체지표를 명시적으로 연결함으로써 연구 설계의 명확성과 재현 가능성을 높이기 위한 개념적 프레임워크를 제안하였다.
• 문화적 맥락이 복잡하고 현장 기반임을 이해하기 위해 인류학 및 HCI 분야와의 다학문적 협력을 권장하였다.

실험 결과

연구 질문

• RQ1 현재 LLMs에 관한 NLP 연구에서 문화는 어떻게 정의되거나 작동하는가?
• RQ2 인구통계학적, 의미적, 언어-문화적 중에서, LLM 평가에서 가장 자주 다뤄진 문화적 대체지표는 무엇인가?
• RQ3 의미적 도메인인 관련성, 친족 관계, 시간 등에서의 문화적 표현에 있어 주요 격차는 무엇인가?
• RQ4 현재의 탐색 방법은 어느 정도 탄력적이고 해석 가능한가? 그리고 결과의 신뢰성에 어떤 영향을 미치는가?
• RQ5 다학문적 및 다국어 접근 방식은 LLMs에서의 문화적 포함을 어떻게 향상시킬 수 있는가?

주요 결과

• 조사한 39편의 논문 중 어느 것도 문화에 대한 비판적 또는 구체적인 정의를 제공하지 않았으며, 대신 모호하거나 고수준의 서술에 의존하였다.
• 연구된 문화적 대체지표는 주로 가치와 목적에 국한되어 있었고, 관련성, 친족 관계, 기능어 등 의미적 도메인은 거의 탐색되지 않았다.
• 탐색 방법은 대부분 블랙박스 방식이며, 프롬프트 구조에 민감하여 결과의 탄력성과 일반화 가능성에 우려를 제기한다.
• 다국어 데이터셋의 부족이 심각하여, 대부분의 연구가 영어 데이터에 의존함으로써 교차문화적 타당성이 제한된다.
• 인류학 및 HCI 분야와의 다학문적 협력은 매우 미미한데, 이는 문화적 맥락이 복잡하고 현장 기반임을 이해하는 데 중요하다.
• 본 조사에서는 데이터셋과 문화적 대체지표를 명시적으로 연결하는 일관된 연구 프레임워크가 필수적임을 규명하였으며, 이는 LLMs의 탄력적이고 해석 가능하며 포괄적인 평가를 지원한다.