[논문 리뷰] Towards Trustworthy AI: A Review of Ethical and Robust Large Language Models

Md Meftahul Ferdaus, Mahdi Abdelguerfi외 4명|arXiv (Cornell University)|2024. 06. 01.

Topic Modeling인용 수 11

한 줄 요약

대형 언어 모델(LLMs)에서의 신뢰에 대한 포괄적 검토로, 윤리적, 기술적, 거버넌스 요인을 살펴보고 투명성, 공정성, 및 견고성을 개선하기 위한 프레임워크와 지침을 제시한다.

ABSTRACT

The rapid progress in Large Language Models (LLMs) could transform many fields, but their fast development creates significant challenges for oversight, ethical creation, and building user trust. This comprehensive review looks at key trust issues in LLMs, such as unintended harms, lack of transparency, vulnerability to attacks, alignment with human values, and environmental impact. Many obstacles can undermine user trust, including societal biases, opaque decision-making, potential for misuse, and the challenges of rapidly evolving technology. Addressing these trust gaps is critical as LLMs become more common in sensitive areas like finance, healthcare, education, and policy. To tackle these issues, we suggest combining ethical oversight, industry accountability, regulation, and public involvement. AI development norms should be reshaped, incentives aligned, and ethics integrated throughout the machine learning process, which requires close collaboration across technology, ethics, law, policy, and other fields. Our review contributes a robust framework to assess trust in LLMs and analyzes the complex trust dynamics in depth. We provide contextualized guidelines and standards for responsibly developing and deploying these powerful AI systems. This review identifies key limitations and challenges in creating trustworthy AI. By addressing these issues, we aim to build a transparent, accountable AI ecosystem that benefits society while minimizing risks. Our findings provide valuable guidance for researchers, policymakers, and industry leaders striving to establish trust in LLMs and ensure they are used responsibly across various applications for the good of society.

연구 동기 및 목표

• 해로운 영향, 투명성, 공격, 인간 가치와의 정렬, 그리고 환경 영향 등을 포함한 LLM의 신뢰 제 도전을 평가한다.
• 다양한 관점에서 LLM의 신뢰성을 평가하기 위한 통합 프레임워크를 제안한다.
• LLMs의 책임 있는 개발 및 배치를 안내하기 위한 맥락에 맞춘 지침과 표준을 제시한다.

제안 방법

• 투명성, 견고성, 인간 가치와의 정렬, 환경 영향 등 여덟 가지 관점으로 LLM에 대한 신뢰를 평가하기 위한 강력한 평가 프레임워크를 개발한다.
• 신뢰 역학 및 거버넌스 필요성을 분석하기 위해 윤리적, 기술적, 정책적 고려사항을 종합한다.
• 투명성과 책임성을 지원하기 위해 설명가능성(XAI) 방법과 로깅을 도입한다.
• 시간에 따른 LLM 신뢰성 향상의 사례 연구를 활용한다.

실험 결과

연구 질문

• RQ1 고위험 도메인에서 LLM이 직면한 주요 신뢰 문제는 무엇인가?
• RQ2 윤리적, 기술적, 사회적 차원 전반에 걸쳐 LLM의 신뢰성을 어떻게 포괄적으로 평가할 수 있는가?
• RQ3 LLM 개발 및 배치를 위한 윤리 원칙을 실행화할 수 있는 지침과 표준은 무엇인가?

주요 결과

• LLMs는 독성, 편향, 견고성, 프라이버시, 윤리성, 공정성에 관한 지속적인 우려에 직면해 있다.
• 최근 업데이트는 여러 LLM에서 유해한 프롬프트, 고정관념, 적대적 입력 처리에서 개선을 보인다.
• 다차원 정렬 프레임워크가 신뢰성, 안전, 공정성, 오용 저항, 추론, 사회적 규범, 견고성을 평가하여 선도 모델에서 신뢰 정렬이 향상됐음을 보여준다.
• 설명가능성 기법과 로깅은 LLM 시스템의 디버깅, 감사 및 책임성에 필수적이다.
• 사례 연구는 초기 취약점에서 현대 모델의 더 견고하고 신뢰할 수 있는 행동으로의 진행을 보여준다.