[논문 리뷰] The Call for Socially Aware Language Technologies

Diyi Yang, Dirk Hovy외 2명|arXiv (Cornell University)|2024. 05. 03.

Innovative Teaching and Learning MethodsPsychology인용 수 3

한 줄 요약

이 논문은 자연어 처리(NLP)에 사회적 인식을 통합하여 지속적인 문제인 편향, 독성, 공정성 문제를 해결하고자 한다. 언어 모델에 사회적 요인, 상호작용, 영향력을 통합된 이해를 심어줌으로써 사회적 인식이 있는 NLP로의 기초적 전환을 제안한다. 정서지능, 문화적 맥락, 윤리적 설계를 강조하여 더 포용적이고 신뢰할 수 있으며 인간 중심적인 AI 시스템을 구축하고자 한다.

ABSTRACT

Language technologies have made enormous progress, especially with the introduction of large language models (LLMs). On traditional tasks such as machine translation and sentiment analysis, these models perform at near-human level. These advances can, however, exacerbate a variety of issues that models have traditionally struggled with, such as bias, evaluation, and risks. In this position paper, we argue that many of these issues share a common core: a lack of awareness of the factors, context, and implications of the social environment in which NLP operates, which we call social awareness. While NLP is getting better at solving the formal linguistic aspects, limited progress has been made in adding the social awareness required for language applications to work in all situations for all users. Integrating social awareness into NLP models will make applications more natural, helpful, and safe, and will open up new possibilities. Thus we argue that substantial challenges remain for NLP to develop social awareness and that we are just at the beginning of a new era for the field.

연구 동기 및 목표

• 공식적 언어적 과제에서 높은 성능을 보이지만 사회적 맥락, 문화적 뉘앙스, 윤리적 함의를 다루는 데에 능력이 부족한 NLP 시스템의 격차를 해소하고자 한다.
• 현재의 NLP 모델들이 사회적 인식이 부족하여 실제 응용에서 편향되거나 위험하거나 배제적인 결과를 초래하고 있음을 부각하고자 한다.
• 사회적 인식을 핵심 구성 요소로 삼는 NLP 연구의 범주 전환을 옹호하고자 한다. 후속 조치가 아니라 핵심 요소여야 한다.
• 언어학, 사회과학, AI 간의 다학제적 협력을 촉진하여 다양한 인간 경험과 가치를 반영하는 모델을 구축하고자 한다.
• 사용자 오용, 과도한 의존, 개인정보 위험을 방지하기 위해 윤리적 개발 프레임워크를 마련하고자 한다.

제안 방법

• 언어 사용에서 사회적 요인, 사회적 상호작용, 사회적 영향력을 포함하는 핵심 역량으로서 '사회적 인식'의 개념을 도입한다.
• 사회적 인식을 정서지능, 특히 마음 이론(Mindreading)의 연장선으로 프레임워크화하여 모델이 타인의 정서와 의도를 이해할 수 있도록 한다.
• 사회적 인식이 있는 NLP는 언어와 공동체 간의 문화적 규범, 가치, 권력 관계, 맥락적 다양성을 반영해야 한다고 주장한다.
• 기존의 정확도와 유창성 외에도 공정성, 신뢰성, 포용성을 포함한 평가 지표와 벤치마크를 재정의할 것을 제안한다.
• 사회학, 담론의학, 인간-컴퓨터 상호작용의 통찰을 NLP 모델 설계 및 훈련에 통합할 것을 주장한다.
• 시간과 맥락에 따라 시스템이 여전히 관련성 있고 윤리적인지를 확보하기 위해 지속적인 모니터링과 적응형 업데이트의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 NLP 모델은 어떻게 언어에서 사회적 맥락, 문화적 차이, 권력 관계를 인식하고 적절히 반응할 수 있는가?
• RQ2 공정성, 신뢰성, 포용성을 향상시키기 위해 언어 모델에 통합되어야 할 사회적 인식의 핵심 구성 요소는 무엇인가?
• RQ3 복잡하고 다차원적인 성격을 지닌 사회적 인식을 NLP 시스템에서 어떻게 구현하고 평가할 수 있는가?
• RQ4 NLP 시스템이 더 사회적 인식을 갖게 될 때 나타나는 윤리적 위험 요소는 무엇이며, 개발 단계에서 어떻게 완화할 수 있는가?
• RQ5 사회적 인식이 있는 NLP는 헬스케어, 교육, 인간-로봇 상호작용과 같은 고위험 분야에서 어떻게 변화를 이끌 수 있는가?

주요 결과

• 현대 NLP에서 발생하는 편향, 독성, 불공정성 등의 문제들은 언어나 계산적 한계 때문이 아니라 사회적 인식 부족에서 기인한다.
• 현재의 대규모 언어 모델은 공식적 NLP 과제에서는 인간 수준에 가까운 성능을 보이지만, 사회적 맥락을 고려하지 못해 배제적이거나 해로운 출력을 내놓는다.
• 사회적 인식은 NLP에 국한되지 않으며, 시각, 로봇공학 등 다른 AI 모odalities에서도 안전하고 효과적인 인간-AI 상호작용을 가능하게 하기 위해 필수적이다.
• NLP에 사회적 인식을 통합하면 특히 소수어 및 소외된 공동체를 위한 신뢰성, 포용성, 접근성 향상에 기여할 수 있다.
• 사회적 인식을 위한 표준화된 지표와 평가 프레임워크의 부재는 발전을 가로막는 주요 장애물이다.
• 조작이나 과도한 의존을 방지하기 위해 사회적 인식이 있는 시스템을 책임감 있게 개발하기 위해 다학제적 협력과 윤리적 설계 원칙이 절실하게 필요하다.