[논문 리뷰] Writing Assistants Should Model Social Factors of Language

Vivek Kulkarni, Vipul Raheja|arXiv (Cornell University)|2023. 03. 28.

AI in Service Interactions인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델을 기반으로 한 글쓰기 보조 도구가 개인화, 효과성, 사용자 수용도를 향상시키기 위해 인구통계학적 요소, 성격, 사회적 관계, 시간/지리적 요소, 의사소통 목적 등의 사회적 요소를 통합해야 한다고 주장한다. 이러한 사회적 차원을 모델링함으로써 글쓰기 보조 도구는 더 맥락에 맞고 세밀하며 포용적인 언어 추천을 제공할 수 있으며, 순수하게 정보 중심의 텍스트 생성을 넘어서게 된다.

ABSTRACT

Intelligent writing assistants powered by large language models (LLMs) are more popular today than ever before, but their further widespread adoption is precluded by sub-optimal performance. In this position paper, we argue that a major reason for this sub-optimal performance and adoption is a singular focus on the information content of language while ignoring its social aspects. We analyze the different dimensions of these social factors in the context of writing assistants and propose their incorporation into building smarter, more effective, and truly personalized writing assistants that would enrich the user experience and contribute to increased user adoption.

연구 동기 및 목표

• 현재 글쓰기 보조 도구의 성능이 열악하고 보급이 제한된 이유를 밝히기 위해 핵심적인 소홀함을 지적: 언어 모델링에서 사회적 요소를 간과한 것.
• 언어가 정보 그 이상이며, 인구통계학, 성격, 사회적 관계, 맥락에 의해 형성되는 사회적 구성물임을 주장한다.
• 이러한 사회적 차원을 모델링하면 더 지능적이고 개인화된, 더 효과적인 글쓰기 보조 도구가 될 수 있음을 제안한다.
• 사회적 언어 요소를 모델링할 때 새로운 평가 기준과 윤리적 고려가 필요하다는 점을 강조한다.
• 글쓰기 보조 시스템에서 사회적 요소의 다중모달 및 비언어적 모델링에 대한 연구를 촉구한다.

제안 방법

• 기존 사회언어학 연구에서 유래한 언어 내 사회적 요소의 분류 체계를 도입하여 글쓰기 보조 도구 설계를 안내한다.
• 연령, 성별, 인종 등의 인구통계학적 요소를 언어 모델링에 통합하여 단어 선택과 어법을 사용자에 맞게 조정하면서도 편향을 피한다.
• 외향성 등의 성격 특성(예: 외향성)을 모델링하여 개인 사용자 선호도에 맞는 언어 추천을 맞춤화한다.
• 형식성, 존칭, 슬랭 사용 등 사회적 관계와 규범을 통합하여 대화 상대의 관계에 따라 어조와 문장 구조를 적절히 조정한다.
• 시간, 지리, 영역별 언어 변형(예: 'zucchini' 대비 'courgette')을 고려하여 맥락적 정확도를 향상시킨다.
• 사용자의 의사소통 목적(예: 정보 제공, 설득, 오락)에 따라 목표 설정(학술, 창작, 대화형)에 맞게 추천을 조율한다.

실험 결과

연구 질문

• RQ1 글쓰기 보조 도구는 어떻게 연령, 성별, 인종과 같은 인구통계적 영향을 더 잘 모델링하여 언어 추천을 향상시킬 수 있는가?
• RQ2 성격 특성은 어떻게 언어 모델에 통합되어 개인화된 글쓰기 제안을 가능하게 할 수 있는가?
• RQ3 사회적 관계와 규범은 언어 사용에 어떤 영향을 미치며, 글쓰기 보조 도구는 이를 어떻게 적응시킬 수 있는가?
• RQ4 시간, 지리, 영역에 따른 언어 변형은 글쓰기 보조 도구 성능에 어떤 영향을 미치며, 이를 어떻게 모델링할 수 있는가?
• RQ5 다양한 맥락에서 사용자의 의사소통 목적에 맞게 글쓰기 보조 도구는 어떻게 설계될 수 있는가?

주요 결과

• 사회적 요소를 모델링하는 글쓰기 보조 도구는 사용자의 인구통계학적 배경과 관계 맥락에 맞게 어조, 어휘 선택, 문장 구조를 조정함으로써 개인화와 사용자 경험을 크게 향상시킬 수 있다.
• 성격 기반 언어 패턴을 통합하면 더 정확하고 개인화된 글쓰기 제안이 가능해지며, 예를 들어 외향성 특성이 있는 사용자에게는 사회적 어휘나 형식적인 표현을 선호하도록 조정할 수 있다.
• 사회적 관계 모델링을 통해 글쓰기 보조 도구는 적절한 형식성과 슬랭 또는 존칭 사용을 조정할 수 있으며, 친밀한 친구에게는 인사말을 생략하는 것과 같이 상황에 맞게 조정할 수 있다.
• 지리적 및 시기적 언어 변형을 고려하면 정서 분석 오류와 어휘 선택 오류를 방지할 수 있으며, 예를 들어 역사적 의미 변화로 인해 'awesome'를 부정적이라고 잘못 분류하는 것을 막을 수 있다.
• 의사소통 목적을 통합하면 글쓰기 보조 도구는 학술 글쓰기에서는 논증적 프레임워크나 마케팅 콘텐츠에서는 설득적 어법을 추천하는 등 맥락에 맞는 문장 구조를 제안할 수 있다.
• 현재 평가 기준에서 사회적 요소 모델링의 부재는 진전을 제한하고 있으며, 이는 사회적 기반 평가 프레임워크의 신규 개발이 시급함을 시사한다.