[논문 리뷰] Sociocultural Norm Similarities and Differences via Situational Alignment and Explainable Textual Entailment

Sky CH-Wang, Arkadiy Saakyan외 3명|arXiv (Cornell University)|2023. 05. 23.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 상황적 일치와 설명 가능한 텍스트 함의를 통해 중국 및 미국 문화 간의 묘사적 사회규범을 탐색하고 비교하는 인간-AI 공동작업 프레임워크를 제안한다. 지후의 논의와 SocialChemistry 데이터셋을 활용하여 설명이 첨부된 3,069개의 교차 문화적 규범 쌍으로 구성된 고품질 데이터셋을 구축하였으며, 기존 모델이 3B 파rameter 이하일 경우 새로운 과제인 설명 가능한 사회규범 함의에 대해 뚜렷한 성능 저하를 보임을 입증한다.

ABSTRACT

Designing systems that can reason across cultures requires that they are grounded in the norms of the contexts in which they operate. However, current research on developing computational models of social norms has primarily focused on American society. Here, we propose a novel approach to discover and compare descriptive social norms across Chinese and American cultures. We demonstrate our approach by leveraging discussions on a Chinese Q&A platform (Zhihu) and the existing SocialChemistry dataset as proxies for contrasting cultural axes, align social situations cross-culturally, and extract social norms from texts using in-context learning. Embedding Chain-of-Thought prompting in a human-AI collaborative framework, we build a high-quality dataset of 3,069 social norms aligned with social situations across Chinese and American cultures alongside corresponding free-text explanations. To test the ability of models to reason about social norms across cultures, we introduce the task of explainable social norm entailment, showing that existing models under 3B parameters have significant room for improvement in both automatic and human evaluation. Further analysis of cross-cultural norm differences based on our dataset shows empirical alignment with the social orientations framework, revealing several situational and descriptive nuances in norms across these cultures.

연구 동기 및 목표

• 비서구 문화 규범, 특히 중국 사회규범에 기반한 계산 모델의 부족을 보완하기 위해.
• 상황적으로 일치하는 방식으로 중국 및 미국 문화 간의 묘사적 사회규범을 식별하고 비교하는 방법을 개발하기 위해.
• 후속 추론 과제를 위한 고품질의 설명 가능 데이터셋을 구축하기 위해.
• 기존 언어모델이 다양한 문화 간에 새로운 과제인 설명 가능한 사회규범 함의에 대해 어떻게 성능을 보이는지 평가하기 위해.
• 사회지향 프레임워크에 부합하는 경험적 데이터를 활용하여 사회규범의 문화적 차이를 분석하기 위해.

제안 방법

• 다국어 임베딩 유사도를 활용해 중국(지후) 및 미국(SocialChemistry) 문화 맥락 간의 사회적 상황을 일치시킨다.
• GPT-3를 사용한 소수의 예시를 통한 컨텍스트 학습을 활용해 지후의 최상위 투표를 받은 답변에서 중국 사회규범을 추출한다.
• 사고의 사슬(Chain-of-Thought, CoT) 프롬프팅을 적용해 중국 및 미국 규범 간의 규범 함의 관계에 대한 텍스트 설명을 생성한다.
• 품질과 문화적 정확성을 확보하기 위해 인간-AI 피드백 루프를 구현하여 규범 쌍과 설명을 검증, 검증, 수정한다.
• 상황적으로 일치된 규범 쌍 3,069개와 함의 관계, 자유형 텍스트 설명을 포함한 새로운 데이터셋을 구축한다.
• 자동 평가 및 인간 평가를 활용해 기존 언어모델을 새로운 과제인 설명 가능한 사회규범 함의에 대해 미세조정하고 평가한다.

Figure 1: An example of descriptive norms conditioned on an aligned cross-cultural situation, together with their inference relation and corresponding textual explanation.

실험 결과

연구 질문

• RQ1 어떻게 상황적 기반을 활용해 중국 및 미국 문화의 사회규범을 체계적으로 일치시키고 비교할 수 있는가?
• RQ2 기존 언어모델(30억 파rameter 이하)이 다양한 문화 간에 설명 가능한 사회규범 함의 과제에서 얼마나 잘 수행되는가?
• RQ3 중국 및 미국 문화 지향성의 핵심적인 상황적 및 묘사적 뉘앙스는 무엇인가?
• RQ4 추출된 규범 차이가 사회지향 모델과 같은 기존 문화 프레임워크와 얼마나 잘 일치하는가?
• RQ5 온라인 Q&A 플랫폼과 LLM을 활용한 교차 문화적 규범 탐색에서 내재된 한계와 편향은 무엇인가?

주요 결과

• 제안된 인간-AI 프레임워크는 설명이 첨부된 3,069개의 상황적으로 일치된 교차 문화적 규범 쌍으로 구성된 고품질 데이터셋을 성공적으로 생성하였다.
• 30억 파rameter 이하의 기존 언어모델은 자동 평가 및 인간 평가 모두에서 새로운 과제인 설명 가능한 사회규범 함의에 대해 뚜렷한 성능 격차를 보였다.
• 이 데이터셋은 사회지향 프레임워크에 부합하는 경험적 검증을 가능하게 하였으며, 특히 중국 문화의 집단주의, 관계적 결정론, 권위 숭배와 미국 문화의 개인주의를 두드러지게 드러냈다.
• 분석을 통해 가족 참여에 대한 기대, 간접적 의사소통, 계층적 복종에 대한 차이 등 상황적 및 묘사적 뉘앙스가 드러났다.
• 연구는 Zhihu의 콘텐츠 모니터링 가능성, 최상위 투표 답변에 대한 의존성(정확성보다는 인기 반영 가능), 언어모델의 환상 또는 프롬프팅 효과 등 주요 한계를 밝혀냈다.
• 저자들은 향후 연구를 위해 데이터셋을 공개하여 내문화적 규범 변동성과 사회규범 내 가치의 다원성 연구를 장려한다.

Figure 2: Our human-AI collaboration framework for creating a cross-cultural Chinese-American social norm NLI dataset through (1) situation alignment, aligning cross-lingual situations between Zhihu and Social Chemistry, (2) social norm extraction, from free-form answers to rules-of-thumb with in-co