[論文レビュー] Sociocultural Norm Similarities and Differences via Situational Alignment and Explainable Textual Entailment

Sky CH-Wang, Arkadiy Saakyan+3 more|arXiv (Cornell University)|May 23, 2023

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本稿では、状況的整合性と説明可能なテクスト帰属推論を用いて、中国およびアメリカの文化における記述的行動規範を発見・比較する人間-AI協働フレームワークを提案する。Zhihuの議論とSocialChemistryデータセットを活用することで、説明を伴う3,069組の文化的な規範対を含む高品質なデータセットを構築し、既存のモデルが30億パラメータ未満のパラメータで顕著に性能を発揮しないことを示している。

ABSTRACT

Designing systems that can reason across cultures requires that they are grounded in the norms of the contexts in which they operate. However, current research on developing computational models of social norms has primarily focused on American society. Here, we propose a novel approach to discover and compare descriptive social norms across Chinese and American cultures. We demonstrate our approach by leveraging discussions on a Chinese Q&A platform (Zhihu) and the existing SocialChemistry dataset as proxies for contrasting cultural axes, align social situations cross-culturally, and extract social norms from texts using in-context learning. Embedding Chain-of-Thought prompting in a human-AI collaborative framework, we build a high-quality dataset of 3,069 social norms aligned with social situations across Chinese and American cultures alongside corresponding free-text explanations. To test the ability of models to reason about social norms across cultures, we introduce the task of explainable social norm entailment, showing that existing models under 3B parameters have significant room for improvement in both automatic and human evaluation. Further analysis of cross-cultural norm differences based on our dataset shows empirical alignment with the social orientations framework, revealing several situational and descriptive nuances in norms across these cultures.

研究の動機と目的

• 非西洋的文化規範、特に中国の社会的規範に基づいた計算モデルの不足を是正すること。
• 状況的整合性を保ちつつ、中国およびアメリカの文化における記述的行動規範を体系的に特定・比較する手法を開発すること。
• 将来的な推論タスク用に、高品質で説明可能な文化的規範比較データセットを構築すること。
• 既存の言語モデルが文化的な文脈で説明可能な行動規範帰属推論という新タスクをどの程度遂行できるかを評価すること。
• 社会的指向フレームワークに整合した実証的データを用いて、文化的規範の違いを分析すること。

提案手法

• 中国（Zhihu）およびアメリカ（SocialChemistry）の文化的文脈間で、多言語埋め込み類似度を用いて社会的状況を整合化する。
• GPT-3を用いたfew-shotインライン学習により、Zhihuで高得票を得た回答から中国の社会的規範を抽出する。
• Chain-of-Thought（CoT）プロンプティングを適用し、中国およびアメリカの規範間の帰属関係についてのテクスト的説明を生成する。
• 品質および文化的正確性を確認・検証・修正するために、人間-AIフィードバックループを実装する。
• 状況的に整合した規範対3,069組と帰属関係、自由記述の説明を含む新規データセットを構築する。
• 自動評価および人間評価を用いて、既存の言語モデルを新タスク「説明可能な文化的規範帰属推論」にファインチューニングし、評価する。

Figure 1: An example of descriptive norms conditioned on an aligned cross-cultural situation, together with their inference relation and corresponding textual explanation.

実験結果

リサーチクエスチョン

• RQ1 状況的根拠を用いて、中国およびアメリカの文化的規範を体系的に統合・比較する方法は何か？
• RQ2 30億パラメータ未満の既存の言語モデルが、文化的文脈における説明可能な行動規範帰属推論タスクでどの程度の性能を示すか？
• RQ3 中国およびアメリカの文化的指向を特徴付ける、状況的および記述的ニュアンスの重要な違いは何か？
• RQ4 抽出された規範の差異は、社会的指向モデルのような既存の文化的フレームワークとどの程度整合するか？
• RQ5 オンラインQ&Aプラットフォームおよび大規模言語モデルを用いた文化的規範発見において、内在する限界およびバイアスは何か？

主な発見

• 提案された人間-AIフレームワークにより、説明を伴う状況的に整合した3,069組の文化的規範対を含む高品質なデータセットが成功裏に生成された。
• 30億パラメータ未満のパラメータを持つ既存の言語モデルは、新タスク「説明可能な文化的規範帰属推論」において、自動評価および人間評価の両方で顕著な性能差を示した。
• 本データセットにより、社会的指向フレームワークに整合した文化的差の実証的検証が可能となり、特に中国文化における集団主義、関係的決定論、権威崇拝の特徴が顕著に浮き彫りにされた。
• 分析から、家族参加の期待、間接的コミュニケーション、階層的服従といった、状況的および記述的ニュアンスの違いが明らかになった。
• 本研究では、Zhihuのコンテンツモデレーションによるバイアス、上位得票回答への依存（正確性よりも人気性が反映される可能性）、言語モデルの幻覚現象やプロンプト効果といった主な限界が特定された。
• 研究者は本データセットを公開し、今後の文化内規範の多様性および社会的価値の多様性に関する研究を促進することを目的としている。

Figure 2: Our human-AI collaboration framework for creating a cross-cultural Chinese-American social norm NLI dataset through (1) situation alignment, aligning cross-lingual situations between Zhihu and Social Chemistry, (2) social norm extraction, from free-form answers to rules-of-thumb with in-co