[논문 리뷰] Supporting Human-AI Collaboration in Auditing LLMs with LLMs

Charvi Rastogi, Marco Túlio Ribeiro외 3명|arXiv (Cornell University)|2023. 04. 19.

Ethics and Social Impacts of AI참고 문헌 32인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 실패를 보다 효과적으로 탐지하기 위해 인간-AI 협업을 활용하는 향상된 감사 도구인 AdaTest++를 소개한다. 사고의 정리 지원, 구조화된 실패 조직화, 전문가가 도출한 프롬프트 템플릿을 통합함으로써, 감사자는 인간의 추론과 LLM이 생성한 테스트 케이스를 효과적으로 융합할 수 있게 되었으며, 이로 인해 GPT-3와 Azure의 감성 분류 모델에서 26개의 고유한 실패 주제를 발견하게 되었다. 이는 이전에 보고되지 않은 해로움까지 포함한다.

ABSTRACT

Large language models are becoming increasingly pervasive and ubiquitous in society via deployment in sociotechnical systems. Yet these language models, be it for classification or generation, have been shown to be biased and behave irresponsibly, causing harm to people at scale. It is crucial to audit these language models rigorously. Existing auditing tools leverage either or both humans and AI to find failures. In this work, we draw upon literature in human-AI collaboration and sensemaking, and conduct interviews with research experts in safe and fair AI, to build upon the auditing tool: AdaTest (Ribeiro and Lundberg, 2022), which is powered by a generative large language model (LLM). Through the design process we highlight the importance of sensemaking and human-AI communication to leverage complementary strengths of humans and generative models in collaborative auditing. To evaluate the effectiveness of the augmented tool, AdaTest++, we conduct user studies with participants auditing two commercial language models: OpenAI's GPT-3 and Azure's sentiment analysis model. Qualitative analysis shows that AdaTest++ effectively leverages human strengths such as schematization, hypothesis formation and testing. Further, with our tool, participants identified a variety of failures modes, covering 26 different topics over 2 tasks, that have been shown before in formal audits and also those previously under-reported.

연구 동기 및 목표

• 사회기술적 시스템에서 LLM의 편향과 해로운 행동을 감사하는 데 도전하는 데 목적을 두며.
• 인간과 생성형 LLM의 상호보완적 강점을 활용하여 감사의 효과성을 향상시키는 데 목적을 두며.
• AI로 강화된 도구를 통해 감사자가 가설 수립, 테스트, 사고의 정리 단계를 지원하는 데 목적을 두며.
• 감사 워크플로우에서 임시적인 인간의 창의성과 시스템 기반 자동화에 대한 의존도를 줄이는 데 목적을 두며.
• 전문가 및 초보자 감사자 모두가 다양한 실패 유형을 식별하는 데 도움이 되는 도구를 개발하는 데 목적을 두며.

제안 방법

• 사고의 정리 지원 기능을 추가하여 자연어 프롬프트를 활용한 테스트 생성을 지원하는 방식으로 AdaTest를 강화하였다.
• 전체적 맥락을 제공하기 위해 발견된 실패를 시각화하고 조직화하기 위해 트리 구조 인터페이스를 도입하였다.
• 경험이 적은 감사자를 안내하기 위해 전문가의 생각을 말하는 인터뷰를 기반으로 재사용 가능한 프롬프트 템플릿을 설계하였다.
• 사용자가 제공한 가설을 바탕으로 LLM을 공동 감사자로 통합하여 필요에 따라 테스트 케이스를 생성하였다.
• AI 연구자들과 산업 전문가를 대상으로 사고 과정을 말하는 사용자 연구를 수행하여 도구의 효과성을 평가하였다.
• 질적 분석을 통해 설계 통찰을 도출하고 도구가 협업 감사 과정에서 수행하는 역할을 검증하였다.

실험 결과

연구 질문

• RQ1 어떻게 인간-AI 협업을 구성하면 LLM 감사를 효과적으로 지원할 수 있는가?
• RQ2 사고의 정리와 소통은 감사 과정에서 인간-LLM 협업을 효과적으로 구현하는 데 어떤 역할을 하는가?
• RQ3 전문가의 감사 전략은 어떻게 일반화된 도구 사용성을 확보하기 위해 재사용 가능한 프롬프트 템플릿으로 전환될 수 있는가?
• RQ4 AdaTest++는 감사자가 다양한 실패 유형, 특히 이전에 보고되지 않은 유형까지 식별하는 데 어느 정도 기여할 수 있는가?
• RQ5 감사자가 LLM을 사용해 테스트 케이스를 생성하는 데 신뢰를 두고 효과적으로 활용하는 데 있어 어떤 과제에 직면해 있는가?

주요 결과

• AdaTest++를 사용한 참가자들은 LLM과 협업하여 가설 수립 및 검증과 같은 핵심 사고의 정리 단계를 성공적으로 수행하였다.
• 이 도구를 통해 두 가지 작업—질문 응답 및 감성 분류—에서 26개의 고유한 실패 주제를 식별할 수 있었으며, 이는 표현적, 할당적, 오해를 불러일으키는 해로움을 포함한다.
• 감사자들은 LLM이 생성한 테스트 케이스와 함께 개인의 전문 지식과 맥락 기반 추론을 융합하여 상호보완적인 강점을 보였다.
• 일부로 발견된 실패는 이전 공식 감사에서 보고된 바가 있었고, 다른 일부는 이전에 보고되지 않은 것으로 나타나 도구가 미세한 실패 유형에 민감하게 반응함을 시사한다.
• 사용자들은 프롬프트 작성과 가설 평가 시 자신감 조절에 어려움을 겪었으며, 이는 더 나은 지원 체계와 자신감 지원 기능이 필요함을 시사한다.
• 연구에서는 현재 협업 지원의 한계, 예를 들어 의견 불일치 모델링 부족과 실패 트리의 공동 구조화 제약 등이 드러났다.