[논문 리뷰] Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models' Alignment

Yang Liu, Yuanshun Yao외 7명|arXiv (Cornell University)|2023. 08. 10.

Topic Modeling인용 수 69

한 줄 요약

이 설문은 일곱 가지 신뢰성 카테고리에 걸친 LLM 정렬의 세밀한 분류를 제안하고, 정렬이 전반적 신뢰도에 미치는 영향을 보여주는 평가 가이드라인과 사례 연구를 제공합니다.

ABSTRACT

Ensuring alignment, which refers to making models behave in accordance with human intentions [1,2], has become a critical task before deploying large language models (LLMs) in real-world applications. For instance, OpenAI devoted six months to iteratively aligning GPT-4 before its release [3]. However, a major challenge faced by practitioners is the lack of clear guidance on evaluating whether LLM outputs align with social norms, values, and regulations. This obstacle hinders systematic iteration and deployment of LLMs. To address this issue, this paper presents a comprehensive survey of key dimensions that are crucial to consider when assessing LLM trustworthiness. The survey covers seven major categories of LLM trustworthiness: reliability, safety, fairness, resistance to misuse, explainability and reasoning, adherence to social norms, and robustness. Each major category is further divided into several sub-categories, resulting in a total of 29 sub-categories. Additionally, a subset of 8 sub-categories is selected for further investigation, where corresponding measurement studies are designed and conducted on several widely-used LLMs. The measurement results indicate that, in general, more aligned models tend to perform better in terms of overall trustworthiness. However, the effectiveness of alignment varies across the different trustworthiness categories considered. This highlights the importance of conducting more fine-grained analyses, testing, and making continuous improvements on LLM alignment. By shedding light on these key dimensions of LLM trustworthiness, this paper aims to provide valuable insights and guidance to practitioners in the field. Understanding and addressing these concerns will be crucial in achieving reliable and ethically sound deployment of LLMs in various applications.

연구 동기 및 목표

• 정렬과 관련하여 LLM 신뢰성의 핵심 차원을 식별한다.
• 철저한 평가를 위한 29개 하위 범주를 가진 세밀한 분류체계를 제안한다.
• LLM 신뢰성의 다중목적 평가를 위한 가이드라인과 데이터셋을 제공한다.
• 모델 간 정렬 효과를 보여주는 측정 연구를 시연한다.
• 신뢰할 수 있는 배치를 위한 LLM 정렬의 기회와 도전과제를 강조한다.

제안 방법

• 일곱 가지 범주로 구성된 분류체계(신뢰성, 안전성, 공정성, 악용저항, 설명가능성과 추론, 사회적 규범, 강건성)로 29개의 하위 범주를 포함한다.
• 문헌과 기존 위험요인을 검토하여 분류체계를 정당화한다.
• 다중목적 정렬 평가를 위한 평가 과제와 데이터셋 구성 원칙을 개략한다.
• 일반적으로 사용되는 LLM에 대한 측정 연구를 수행하여 선택된 하위 범주 전반의 정렬을 평가한다.
• 생성된 평가 데이터를 정렬 개선에 재목적으로 활용하는 방법을 시연한다.
• 데이터셋 설계와 평가 워크플로를 설명하는 가이드라인과 사례 연구를 제공한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 배치를 위해 필요한 LLM 정렬의 핵심 차원과 하위 범주는 무엇인가?
• RQ2 카테고리별로 다중목적 평가를 가능하게 하는 평가 데이터셋을 어떻게 구성할 수 있는가?
• RQ3 더 정렬된 모델이 모든 범주에서 일관되게 신뢰성을 향상시키는가, 정렬 이득이 어디에서 차이가 나는가?
• RQ4 특정 신뢰성 차원에 대한 표적 정렬 개선을 지원하는 평가 데이터는 어떻게 활용될 수 있는가?
• RQ5 모델과 작업 간에 LLM 정렬을 재현 가능하게 평가하는 데 어떤 실질적 도전과제가 있는가?

주요 결과

• LLM 정렬 평가를 안내하기 위해 일곱 개의 주요 범주와 29개의 하위 범주를 포함한 세밀한 분류체계가 제안된다.
• 측정 연구에 따르면 일반적으로 더 정렬된 모델이 전반적인 신뢰성에서 더 잘 수행하는 경향이 있지만 효과는 범주에 따라 다르다.
• 평가 데이터셋과 템플릿 프롬프트 생성을 활용하여 다중목적 정렬을 수행하고 표적 개선을 이끌 수 있다.
• 정렬된 모델이 모든 범주를 보편적으로 개선하는 것은 아니므로 범주별 평가와 개선의 필요성을 강조한다.
• 본 논문은 포괄적 정렬 평가를 지원하기 위한 데이터 수집에 대한 실용적 가이드라인을 제공한다.
• 평가 파이프라인은 정렬 작업을 위한 데이터 생성기로도 작동할 수 있다.