[논문 리뷰] Effective Human-AI Teams via Learned Natural Language Rules and Onboarding

Hussein Mozannar, Jimin J Lee외 4명|arXiv (Cornell University)|2023. 11. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간-AI 협업 규칙을 임bedding 공간 내 데이터 영역의 자연어 기술로 학습하는 IntegrAI 프레임워크를 제안한다. 여기서 인간은 AI에 의존하거나 忽시하거나 협업해야 할 영역을 이해한다. 이 규칙을 통한 온보딩을 통해 물체 검출 작업에서 인간-AI 팀 정확도가 5.2% 향상되었으며, 높은 인간-AI 성능 격차와 기존 LLM 설명이 존재하는 질문 응답 작업에서는 추천만으로는 효과가 없었다.

ABSTRACT

People are relying on AI agents to assist them with various tasks. The human must know when to rely on the agent, collaborate with the agent, or ignore its suggestions. In this work, we propose to learn rules, grounded in data regions and described in natural language, that illustrate how the human should collaborate with the AI. Our novel region discovery algorithm finds local regions in the data as neighborhoods in an embedding space where prior human behavior should be corrected. Each region is then described using a large language model in an iterative and contrastive procedure. We then teach these rules to the human via an onboarding stage. Through user studies on object detection and question-answering tasks, we show that our method can lead to more accurate human-AI teams. We also evaluate our region discovery and description algorithms separately.

연구 동기 및 목표

• 인간이 AI에 대한 신뢰를 잘못 조정하여 성능이 저하되는 비최적의 인간-AI 협업 문제를 해결하기 위해.
• 인간이 언제 AI에 의존하거나 忽시하거나 협업해야 할지에 대한 작업별로 특화되고 해석 가능한 규칙을 학습하는 방법을 개발하기 위해.
• 자연어를 사용하여 이러한 규칙을 교육하는 온보딩 프로세스를 통해 인간-AI 팀 성능을 향상시키기 위해.
• 학습된 규칙을 통한 온보딩이 AI 추천만으로는 성능을 향상시키는 것보다 더 나은 인간-AI 협업을 이끌 수 있는지 평가하기 위해.
• 인간-AI 팀 성능 카드가 협업 중 의사결정을 지원하는 데 어떤 역할을 하는지 조사하기 위해.

제안 방법

• 이 방법은 인간의 결정이 최적의 AI 통합과 다를 때를 탐지하기 위해 다중 모odal 임베딩 공간(예: 이미지의 CLIP, NLP의 텍스트 임베딩) 내 국소적 이웃을 식별하는 새로운 영역 탐지 알고리즘을 사용한다.
• 각 탐지된 영역은 대조적이고 반복적인 절차로 기술된다: 먼저 LLM이 영역 내 점들을 요약하고, 그 다음 임베딩 검색을 통해 유사하고 비유사한 예제를 확보하여 기술을 정밀화한다.
• 최종 규칙은 영역의 자연어 기술이며, 올바른 AI 통합 행동(의존, 忽시, 협업)으로 레이블이 지정된다.
• 온보딩 단계에서는 구조화된 인터페이스를 통해 사용자에게 이러한 규칙을 교육하여 기대치를 조정하고 의사결정을 향상시킨다.
• 온보딩 이후 AI 통합 추천 사항은 대시보드에 표시되어 성능에 미치는 영향을 테스트한다.
• 사용자 연구를 통해 물체 검출 및 MMLU 질문 응답 작업에서 성능을 평가하며, 인간-AI 팀 정확도를 주요 지표로 사용한다.

실험 결과

연구 질문

• RQ1 임bedding 공간 내 데이터 영역을 기술하는 학습된 자연어 규칙이 인간-AI 팀 정확도를 향상시킬 수 있는가?
• RQ2 학습된 규칙을 통한 온보딩이 AI 설명이나 추천만으로는 성능을 향상시키는 것보다 더 나은 AI 통합 결정을 이끌 수 있는가?
• RQ3 영역 탐지 알고리즘이 실제 작업에서 의미 있고 행동적으로 관련 있는 영역을 얼마나 효과적으로 식별하는가?
• RQ4 LLM 기반 대조적 기술 절차가 학습된 규칙의 해석 가능성과 유용성을 얼마나 향상시키는가?
• RQ5 높은 인간 및 AI 정확도에도 불구하고, 일부 작업(예: 물체 검출)에서는 온보딩이 성능 향상에 기여하지만 다른 작업(예: MMLU)에서는 기여하지 않는 이유는 무엇인가?

주요 결과

• 소음이 많은 신호등 이미지를 포함한 물체 검출 작업에서 IntegrAI 규칙을 통한 온보딩은 온보딩 없음 조건 대비 인간-AI 팀 정확도를 5.2% 향상시켰다.
• MMLU 질문 응답 작업에서는 온보딩이 성능에 유의미한 영향을 주지 못했으며, 이는 인간과 AI 간의 높은 정확도 격차와 GPT-3.5 설명의 존재 때문일 것이다.
• 온보딩 이후 MMLU 작업에서 AI 통합 추천 사항을 표시한 결과 성능에 부정적인 영향을 미쳤다. 이는 설명이 이미 존재할 경우 추천 사항이 효과적이지 않을 수 있음을 시사한다.
• 온보딩 조건에 참여한 참가자들은 기준 조건 대비 AI를 9% 더 많이 활용했으며, 이는 온보딩이 사용자 행동과 신뢰 조정을 성공적으로 변화시켰음을 나타낸다.
• 영역 탐지 알고리즘이 복잡한 시각 작업에서 인간의 결정이 비최적인 의미 있는 국소적 영역을 성공적으로 식별했다.
• 대조적 LLM 기반 기술 절차는 이미지의 명료성과 불확실성과 같은 핵심 의사결정 요소를 포착한 자연어 규칙을 생성하여 해석 가능성과 유용성을 향상시켰다.