[논문 리뷰] Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges

Sivan Schwartz, Avi Yaeli외 1명|arXiv (Cornell University)|2023. 08. 10.

Robotic Process Automation Applications인용 수 10

한 줄 요약

본 논문은 신생 LLM 기반 AI 자동화 에이전트에 대한 신뢰를 분석하고 다차원적 신뢰 프레임워크를 제안하며 현재 제품을 평가한다.

ABSTRACT

Trust in AI agents has been extensively studied in the literature, resulting in significant advancements in our understanding of this field. However, the rapid advancements in Large Language Models (LLMs) and the emergence of LLM-based AI agent frameworks pose new challenges and opportunities for further research. In the field of process automation, a new generation of AI-based agents has emerged, enabling the execution of complex tasks. At the same time, the process of building automation has become more accessible to business users via user-friendly no-code tools and training mechanisms. This paper explores these new challenges and opportunities, analyzes the main aspects of trust in AI agents discussed in existing literature, and identifies specific considerations and challenges relevant to this new generation of automation agents. We also evaluate how nascent products in this category address these considerations. Finally, we highlight several challenges that the research community should address in this evolving landscape.

연구 동기 및 목표

• 사람 간 상호작용의 신뢰 개념이 AI 에이전트로 어떻게 이전되는지 요약한다.
• LLM 기반 자동화 에이전트에 특화된 새로운 신뢰 고려사항을 식별한다.
• 신뢰성과 개방성을 위한 구체적 차원 및 grounding 메커니즘을 제안한다.
• 제안된 신뢰 고려사항에 대해 현재 시장 제품을 평가한다.

제안 방법

• 신뢰(인지적 및 정서적)에 관한 문헌을 종합하고 이를 AI 에이전트에 적용한다.
• 신뢰 차원을 정의한다: 신뢰성, 개방성, 구체성, 즉시성, 작업 특성, 및 신뢰 궤적.
• 구체적 근거화/중재 메커니즘을 도입한다(프롬프트/콘텐츠 중재, 작업/지식/응용 근거화).
• 오작동 시 신뢰를 유지하기 위한 안전 가드레일 및 고장 시 대책을 제안한다.
• 이 프레임워크에 비추어 초기 제품 평가(ChatGPT, MS Copilot, Adept.AI, AgentGPT)를 제공합니다.

실험 결과

연구 질문

• RQ1 LLM 기반 자동화 에이전트가 신뢰 연구에 어떤 새로운 도전과 기회를 제시하는가?
• RQ2 비즈니스 프로세스 내의 자율적으로 작동하는 AI 에이전트에서 신뢰를 어떻게 측정하고 검증해야 하는가?
• RQ3 초기 제품은 제안된 신뢰 차원과 가드레일을 어느 정도 다루고 있는가?

주요 결과

• AI 에이전트에 대한 신뢰는 인지적 및 정서적 구성요소로 구성되며, 신뢰성, 개방성, 구체성, 즉시성, 및 작업 특성에 의해 형성된다.
• 본 논문은 신뢰성 향상을 위한 구체적 설계 차원 및 중재로 프롬프트 중재, 콘텐츠 중재, 작업 근거화, 지식 근거화, 응용 근거화, 사용자 피드백, 및 테스트를 식별한다.
• 목표, 능력, 데이터 사용 및 알고리즘에 대한 투명성은 개방성과 신뢰에 긍정적으로 영향을 준다.
• 구체성(아바타/시각적 단서) 및 즉시성 행동(공감, 스타일 적응)은 의인화와 사용자 신뢰에 영향을 준다.
• 작업 특성(인간-루프 대 자율적 행동, 개방형 작업)은 신뢰 요구사항 및 완화 필요성을 결정한다.
• ChatGPT+플러그인, MS Copilot, AgentGPT 및 Adept.AI의 예비 평가 결과 제안된 신뢰 차원과의 일치 정도가 다양하다.