[논문 리뷰] People's Perceptions Toward Bias and Related Concepts in Large Language Models: A Systematic Review

Lu Wang, Max Song외 3명|arXiv (Cornell University)|2023. 09. 25.

Topic Modeling인용 수 5

한 줄 요약

이 체계적 리뷰는 대규모 언어 모델(Large Language Models, LLMs)의 비bias에 대한 일반인의 인식에 관한 경험적 연구 결과를 종합하여 15개의 연구에서 핵심적인 편향, 적용 분야, 사용자 인식을 규명한다. 연구 결과, 사용자들은 LLMs가 스테레오타입, 타당성 결여, 환각 현상 등에 취약하다고 인식하며, 이 인식은 작업 맥락, 정서적 모델, 신뢰 관계에 의해 크게 영향을 받는다. 이는 편향 정의의 명확성 부족과 사용자 중심 설계의 심각한 격차를 드러낸다.

ABSTRACT

Large language models (LLMs) have brought breakthroughs in tasks including translation, summarization, information retrieval, and language generation, gaining growing interest in the CHI community. Meanwhile, the literature shows researchers' controversial perceptions about the efficacy, ethics, and intellectual abilities of LLMs. However, we do not know how people perceive LLMs that are pervasive in everyday tools, specifically regarding their experience with LLMs around bias, stereotypes, social norms, or safety. In this study, we conducted a systematic review to understand what empirical insights papers have gathered about people's perceptions toward LLMs. From a total of 231 retrieved papers, we full-text reviewed 15 papers that recruited human evaluators to assess their experiences with LLMs. We report different biases and related concepts investigated by these studies, four broader LLM application areas, the evaluators' perceptions toward LLMs' performances including advantages, biases, and conflicting perceptions, factors influencing these perceptions, and concerns about LLM applications.

연구 동기 및 목표

• 실제 응용 분야에서 일반인이 대규모 언어 모델(LLMs)의 편향 및 관련 문제를 어떻게 인식하는지 이해하기 위해.
• 사용자가 경험한다고 보고하는 특정 유형의 편향 및 관련 개념(예: 스테레오타입, 환각, 타당성 결여)을 규명하기 위해.
• 작업 유형, 분야, 사용자 기대 등 맥락적 요인이 LLM 성능 및 공정성에 대한 인식에 어떻게 영향을 미치는지 분석하기 위해.
• 사용자의 정서적 모델, 신뢰도, 설명 가능성 등이 LLM 인식에 어떻게 기여하는지 탐구하기 위해.
• 정의 명확성, 편향 측정, 인식의 개인적 차이 등에서 현재 연구의 격차를 규명하기 위해.

제안 방법

• PRISMA 지침을 기반으로 체계적 문헌 리뷰를 수행하여 231편의 논문을 선별하고, 포함 기준을 충족하는 15편을 전문 리뷰 대상으로 선정하였다.
• 실제 또는 시뮬레이션된 응용 분야에서 인간 평가자(일반 사용자 또는 전문 외부자)가 LLM 경험을 평가한 연구에 집중하였다.
• 편향 유형, 적용 분야, 사용된 LLM 모델, 대상 사용자, 평가자의 인구통계학적 및 경험적 특성, 보고된 인식 등을 코드화하였다.
• 주제 분석을 통해 인식된 편향, 성능 우월성, 갈등하는 인식, 신뢰 동적 관계에 대한 발견을 분류하였다.
• 작업 맥락, 사용자 기대, 정서적 모델 등 요소가 LLM 행동에 대한 인식에 어떻게 영향을 미치는지 탐색하였다.
• 정의의 일관성 부족, 평가자 특성에 대한 보고 부족 등 메타적 격차를 규명하였다.

실험 결과

연구 질문

• RQ1 RQ1: 사용자가 LLM에서 인식하는 특정 유형의 편향 및 관련 개념(예: 스테레오타입, 타당성 결여, 환각)은 무엇인가?
• RQ2 RQ2: LLM은 어떤 응용 분야 및 맥락에서 사용자에게 평가되며, 이러한 맥락이 인식에 어떻게 영향을 미치는가?
• RQ3 RQ3: 평가자들은 LLM 성능에 대해 어떻게 평가하는가? 특히 성능 우월성, 편향, 신뢰도 및 안정성에 대한 갈등하는 시각은 무엇인가?
• RQ4 RQ4: 작업 유형, 분야, 사용자 기대, 정서적 모델 등 어떤 요소들이 사용자의 LLM 인식에 영향을 미치는가?
• RQ5 RQ5: 사용자 인식과 LLM 편향에 관한 현재 연구에서의 핵심적 우려 사항과 격차는 무엇인가?

주요 결과

• 사용자들은 인종, 성별, 종교, 사회적 지위와 관련된 방식으로 LLM이 편향되어 있다고 자주 보고하였으며, 특히 무슬림을 폭력과 연관 짓는 스테레오타입적 연관성을 포함한다.
• 많은 사용자들이 LLM이 '환각' 현상에 취약하다고 인식했는데, 이는 사실과 맞지 않거나 위조된 내용을 생성한다는 뜻으로, 특히 정보 검색 및 요약 작업에서 두드러졌다.
• 많은 사용자들이 LLM을 구글이나 위키백과의 대체 수단으로 이해하여 기대치가 맞지 않게 되었고, 모델이 설득력은 있지만 잘못된 출력을 내놓을 때 혼란을 겪었다.
• LLM에 대한 인식은 맥락에 따라 크게 달라졌다: 창작 작업(예: 시 작문)에서는 더 많은 신뢰를 보였지만, 의사결정이나 사실 기반 작업에서는 더 큰 의심을 표출했다.
• 사용자들은 갈등하는 인식을 보였다—일부는 LLM의 유창성과 자연스러움을 칭찬했고, 다른 일부는 타당성 결여, 투명성 부족, 추론 능력 부족을 비판했다—신뢰와 회의주의의 이중성이 드러났다.
• 이 리뷰는 연구에서 심각한 격차를 규명했다: 편향 정의의 일관성 부족, 평가자 인구통계학적 특성에 대한 보고 부족, 인식 및 정서적 모델의 개인적 차이에 대한 충분한 고려 부족