[논문 리뷰] AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts

Tongshuang Wu, Michael Terry외 1명|arXiv (Cornell University)|2021. 10. 04.

Topic Modeling인용 수 34

한 줄 요약

이 논문은 LLM Chaining을 소개합니다. 이는 복잡한 작업을 중간 출력이 있는 순차적 하위 작업으로 분해하고 모듈식 인터랙티브 인터페이스를 가능하게 하며, 체인링이 20인 연구에서 작업 품질, 투명성, 그리고 사용자 공동 작업 감각을 향상시킨다는 것을 보여줍니다.

ABSTRACT

Although large language models (LLMs) have demonstrated impressive potential on simple tasks, their breadth of scope, lack of transparency, and insufficient controllability can make them less effective when assisting humans on more complex tasks. In response, we introduce the concept of Chaining LLM steps together, where the output of one step becomes the input for the next, thus aggregating the gains per step. We first define a set of LLM primitive operations useful for Chain construction, then present an interactive system where users can modify these Chains, along with their intermediate results, in a modular way. In a 20-person user study, we found that Chaining not only improved the quality of task outcomes, but also significantly enhanced system transparency, controllability, and sense of collaboration. Additionally, we saw that users developed new ways of interacting with LLMs through Chains: they leveraged sub-tasks to calibrate model expectations, compared and contrasted alternative strategies by observing parallel downstream effects, and debugged unexpected model outputs by "unit-testing" sub-components of a Chain. In two case studies, we further explore how LLM Chains may be used in future applications

연구 동기 및 목표

• 복잡한 LLM 보조 작업에서의 투명성과 제어 가능성 부족 addressed.
• 하위 작업 체인을 구축하기 위한 모듈식 LLM 원시 작업 집합을 제안합니다.
• LLM 체인 및 중간 출력의 생성, 편집 및 점검을 위한 인터랙티브 인터페이스를 제공합니다.
• 체인화가 작업 성과와 사용자 경험에 미치는 영향을 평가합니다.
• LLM 체인의 잠재적 향후 적용 가능성을 사례 연구를 통해 입증합니다.

제안 방법

• 작업 분해를 가능하게 하기 위해 목표별로 그룹화된 여덟 개의 원시 LLM 작업을 정의합니다.
• 체인 구성을 지원하기 위해 각 작업에 대한 프롬프트 템플릿과 기본 매개변수를 설계합니다.
• 작업과 데이터 계층을 시각화하고 여러 세부 수준에서 편집을 지원하는 인터랙티브 체인 인터페이스를 구축합니다.
• 동일한 LLM을 사용한 비체인 Baseline과 체인을 비교하는 피험자 내 사용자 연구를 수행합니다.
• 체인이 투명성, 제어 가능성, 협업 및 작업 결과에 미치는 영향을 분석합니다.
• 미래 적용 사례를 제시하고 설계 과제와 기회를 논의합니다.

실험 결과

연구 질문

• RQ1 체인화가 동일한 LLM을 사용하는 비체인 방식에 비해 작업 결과를 개선합니까?
• RQ2 체인화가 사용자의 관점에서 시스템의 투명성과 제어 가능성을 향상합니까?
• RQ3 사용자가 체인과 중간 데이터를 다룰 때 어떤 새로운 상호작용 패턴이 등장합니까?
• RQ4 체인이 LLM의 동작에 대한 디버깅이나 기대치 보정에 어떻게 도움이 됩니까?
• RQ5 LLM 체인에 대한 잠재적 미래 적용 및 설계 고려사항은 무엇입니까?

주요 결과

• 체인화는 투명성, 제어 가능성, 협업, 정신적 지지 등 인간-AI 경험의 핵심 차원을 유의하게 개선했습니다.
• 참가자들은 체인을 사용할 때 더 높은 품질의 결과를 대략 82%의 시간에 달성했습니다.
• 사용자는 하위 작업을 활용해 모델 기대치를 보정하고 병렬 하류 효과를 통해 대안 전략을 비교했습니다.
• 사용자는 체인의 하위 구성 요소를 단위 검사를 통해 예기치 않은 모델 출력 디버깅을 수행했습니다.
• 연구는 기본 모델을 변경하지 않고도 하위 작업을 분리하고 중간 결과를 검사하는 등 체인을 통해 LLM을 사용하는 새로운 상호작용 패턴을 드러냅니다.
• 사례 연구는 잠재적 미래 적용 가능성을 보여주고 LLM 체인을 배포하는 데 있어 도전 과제와 기회를 강조합니다.