[논문 리뷰] Conceptual Cultural Index: A Metric for Cultural Specificity via Relative Generality

Takumi Ohashi, Hitoshi Iyatomi|arXiv (Cornell University)|2026. 02. 10.

Computational and Text Analysis Methods인용 수 0

한 줄 요약

CCI는 대상 문화의 일반성 점수를 다른 문화의 평균 일반성에 비해 비교하여 문화 특이성을 문장 수준에서 정량화하는 문화 인식 평가 지표로, LLM의 문화 인식 평가를 가능하게 한다.

ABSTRACT

Large language models (LLMs) are increasingly deployed in multicultural settings; however, systematic evaluation of cultural specificity at the sentence level remains underexplored. We propose the Conceptual Cultural Index (CCI), which estimates cultural specificity at the sentence level. CCI is defined as the difference between the generality estimate within the target culture and the average generality estimate across other cultures. This formulation enables users to operationally control the scope of culture via comparison settings and provides interpretability, since the score derives from the underlying generality estimates. We validate CCI on 400 sentences (200 culture-specific and 200 general), and the resulting score distribution exhibits the anticipated pattern: higher for culture-specific sentences and lower for general ones. For binary separability, CCI outperforms direct LLM scoring, yielding more than a 10-point improvement in AUC for models specialized to the target culture. Our code is available at https://github.com/IyatomiLab/CCI .

연구 동기 및 목표

• 인터프리터블하고 제어 가능한 비교 문화 집합으로 CCI를 정의하는 문화 특이성의 문장 수준 지표.
• CCI가 직접 LLM 점수보다 문화 특이 문장과 일반 문장을 더 명확하게 구분한다는 것을 보여준다.
• CCI가 벤치마크를 CCI 수준으로 계층화하고 문화 특이성이 달라질 때 성능 변화를 드러내는 방법을 제시한다.
• CCI를 문화 인식 평가 및 데이터 큐레이션에 활용하는 방법에 대한 지침을 제공한다.

제안 방법

• 세트 C의 각 문화 c에 대해 문장 일반성 p_c(x)를 추정하기 위해 LLM을 사용한다.
• CCI(x; t, C) = p_t(x)¯ − (1/|C|−1)∑_{c∈C\t} p_c(x)¯ 와 같이 목표 문화 일반성과 다른 문화의 평균 일반성 간의 차이로 per-sentence CCI를 계산한다.
• 변동성을 완화하기 위해 N개의 독립 실행에서 결과를 평균화한다(실험에서 N=3).
• 직접 출력 기반 baseline이 [0,1] 문화 특이성 점수를 예측하는지와 비교할 수 있다.
• C를 변화시키며 제어 가능성을 조사한다(전 세계 모드는 19개 경제, 커스텀 모드는 이웃 문화).
• CCI를 적용하여 벤치마크를 CCI 수준으로 계층화하고 모델 성능 변화를 분석한다.

실험 결과

연구 질문

• RQ1 CCI가 문장 수준에서 문화 특이 문장을 일반 문장과 신뢰할 수 있게 구분할 수 있는가?
• RQ2 문화 특이성에 대한 직접 기반선 점수보다 CCI가 더 나은 분리 가능성(AUC)을 제공하는가?
• RQ3 비교 문화 집합 C를 변경하면 CCI 점수와 문화적 범위 제어에 어떤 영향이 있는가?
• RQ4 문화 특이성이 증가함에 따라 CCI 기반 계층화가 성능 격차를 드러낼 수 있는가?
• RQ5 문화 인식 벤치마킹 및 데이터 큐레이션에 대한 CCI의 실용적 활용 가치가 무엇인가?

주요 결과

• CCI는 기준선과 비교하여 동등하거나 더 높은 AUC를 달성하고 문화 특이 문장과 일반 문장 간의 구분을 더 명확하게 제시한다.
• 강력한 추론 및 다문화 지식을 가진 모델(일본에 특화된 모델 포함)은 CCI의 분리 가능성을 더 높게 보인다.
• 커스텀 모드(이웃 문화를 포함)가 문화 특이 항목에 대한 중간값 CCI를 감소시켜 문화 범위 제어가 가능함을 시사한다.
• 고CCI 항목은 모델에 더 도전적이며 CCI가 증가함에 따라 일반적으로 정확도가 감소하는 경향이 있다(JCQA 및 JCM 데이터셋).
• llm-jp는 고CCI 빈에서 상대적으로 정확도 감소가 작아 일본어로 학습된 모델이 문화 특이 콘텐츠에서 이점을 얻는 것으로 보인다.
• CCI는 대상 문화 특이성 점수와 함께 문화별 일반성 점수를 해석 가능하게 제공하여 문화 인식 분석을 가능하게 한다.