[論文レビュー] Writing Assistants Should Model Social Factors of Language

Vivek Kulkarni, Vipul Raheja|arXiv (Cornell University)|Mar 28, 2023

AI in Service Interactions被引用数 4

ひとこと要約

本論文は、大規模言語モデルによって駆動されるライティングアシスタントが、人種・性別・年齢などの人口統計的要因、性格、社会的関係、時間的・地理的要因、およびコミュニケーションの意図といった社会的要因を組み込む必要があると主張している。これらの社会的側面をモデル化することで、ライティングアシスタントは文脈に即した、洗練された、包摂的な言語的提案を提供でき、単なる情報指向のテキスト生成を超えるようになる。

ABSTRACT

Intelligent writing assistants powered by large language models (LLMs) are more popular today than ever before, but their further widespread adoption is precluded by sub-optimal performance. In this position paper, we argue that a major reason for this sub-optimal performance and adoption is a singular focus on the information content of language while ignoring its social aspects. We analyze the different dimensions of these social factors in the context of writing assistants and propose their incorporation into building smarter, more effective, and truly personalized writing assistants that would enrich the user experience and contribute to increased user adoption.

研究の動機と目的

• 現在のライティングアシスタントの性能が不十分で、採用が限定的であるという問題に、言語モデルにおける社会的要因の無視という根本的 oversight が関与していることを特定すること。
• 言語は単なる情報ではなく、人口統計的要因、性格、社会的関係、文脈によって形作られる社会的構造物であると主張すること。
• これらの社会的側面をモデル化することで、より知能的で、パーソナライズされ、より効果的なライティングアシスタントが実現可能になると提唱すること。
• 社会的側面のモデリングに伴い、新たな評価ベンチマークと倫理的配慮の必要性を強調すること。
• ライティングアシスタントシステムにおける社会的要因のマルチモーダルおよび非言語的モデリングに関する研究を呼びかけること。

提案手法

• 先行の社会言語学的研究に基づく言語における社会的要因の分類法を採用し、ライティングアシスタントの設計を支援する。
• 年齢、性別、人種などの人口統計的要因を言語モデルに統合し、単語選択や表現の調整を行うが、偏見を避ける。
• 外向性などの性格特性をモデル化し、個々のユーザーの好みに応じた言語的提案をカスタマイズする。
• 社会的関係やルール（形式語、敬語、スラングの使用など）を統合し、相手との関係に応じたトーンや構造の適応を可能にする。
• 時間的・地理的・分野特有の言語変異（例：「zucchini」対「courgette」）を考慮することで、文脈的正確性を向上させる。
• ユーザーのコミュニケーションの意図（説明、説得、娯楽など）に合わせ、学術的・創造的・会話的文脈に応じた推薦を調整する。

実験結果

リサーチクエスチョン

• RQ1 ライティングアシスタントは、年齢、性別、人種といった人口統計的要因をどのようにモデル化することで、言語的提案の質を向上させることができるか？
• RQ2 性格特性はどのように言語モデルに組み込まれ、個別化されたライティング提案を可能にするか？
• RQ3 社会的関係やルールは言語使用にどのように影響し、ライティングアシスタントはそれらにどのように適応できるか？
• RQ4 時間的・地理的・分野別の言語変異はライティングアシスタントのパフォーマンスにどのように影響し、それらはどのようにモデル化できるか？
• RQ5 ライティングアシスタントは、異なる文脈においてユーザーのコミュニケーションの意図にどのように適合するように設計できるか？

主な発見

• 社会的要因をモデル化したライティングアシスタントは、ユーザーの人口統計的および関係的文脈に応じてトーン・語彙選択・構造を適応させることで、パーソナライゼーションとユーザーエクスペリエンスを顕著に向上させられる。
• 性格に基づく言語パターンの統合により、外向的か、形式的かに応じた適切で個別化されたライティング提案が可能になり、たとえば性格に応じて社会的用語や形式語を優先的に使用できる。
• 社会的関係のモデリングにより、親しい友人とのメッセージでは挨拶を省略するなど、適切な形式やスラング・敬語の使用を調整できる。
• 地理的および時間的言語変異を考慮することで、感情分析の誤検出や語彙選択の誤り（例：「awesome」が歴史的意味の変化により否定的と誤認される）を防げる。
• コミュニケーションの意図を統合することで、学術的文書では議論的フレーミング、マーケティングコンテンツでは説得的表現を推奨するなど、文脈に応じた構造的提案が可能になる。
• 現在の評価ベンチマークにおける社会的要因のモデリングの欠如が進展を制限しており、社会的根拠に基づいた新たな評価フレームワークの必要性が浮き彫りになっている。