[논문 리뷰] Flows: Building Blocks of Reasoning and Collaborating AI

Martin Josifoski, Lars Klein외 9명|arXiv (Cornell University)|2023. 08. 02.

Reinforcement Learning in Robotics참고 문헌 44인용 수 4

한 줄 요약

이 논문은 AI 시스템 내에서 복잡한 추론과 협업을 구조화하기 위한 모듈형 메시지 기반 프레임워크인 Flows를 소개한다. 이는 자가 포함된 계산 단위의 재귀적 조합을 가능하게 한다. 경쟁적 코딩 테스트에서 평가한 결과, Flows는 AI 전용 시나리오에서 +21점, 인간-AI 협업 시나리오에서 +54점의 성능 향상을 기록하여, 체계적이고 구조화된 상호작용이 비체계적 프롬프팅에 비해 일반화 능력과 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Recent advances in artificial intelligence (AI) have produced highly capable and controllable systems. This creates unprecedented opportunities for structured reasoning as well as collaboration among multiple AI systems and humans. To fully realize this potential, it is essential to develop a principled way of designing and studying such structured interactions. For this purpose, we introduce the conceptual framework Flows. Flows are self-contained building blocks of computation, with an isolated state, communicating through a standardized message-based interface. This modular design simplifies the process of creating Flows by allowing them to be recursively composed into arbitrarily nested interactions and is inherently concurrency-friendly. Crucially, any interaction can be implemented using this framework, including prior work on AI-AI and human-AI interactions, prompt engineering schemes, and tool augmentation. We demonstrate the potential of Flows on competitive coding, a challenging task on which even GPT-4 struggles. Our results suggest that structured reasoning and collaboration substantially improve generalization, with AI-only Flows adding +21 and human-AI Flows adding +54 absolute points in terms of solve rate. To support rapid and rigorous research, we introduce the aiFlows library embodying Flows. The aiFlows library is available at https://github.com/epfl-dlab/aiflows. Data and Flows for reproducing our experiments are available at https://github.com/epfl-dlab/cc_flows.

연구 동기 및 목표

• AI 시스템과 인간 간의 복잡한 구조화된 상호작용을 모델링하기 위한 원칙적이고 확장 가능한 추상화의 부족을 해결하기 위해.
• 임의의 제어 흐름을 넘어서 LLM 기반 시스템에서 추론 및 협업 패턴을 체계적으로 연구할 수 있도록 하기 위해.
• 계산 단위의 모듈성과 격리성을 통해 다중 에이전트 및 인간-AI 워크플로우 설계의 복잡성을 줄이기 위해.
• 로그 기록 및 조합 가능성과 같은 표준화된 인프라를 제공함으로써 철저하고 재현 가능한 연구를 지원하기 위해.
• 구조화된 상호작용 패턴이 어려운 추론 과제에서 일반화 능력과 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• Flows는 고립된 상태와 표준화된 메시지 기반 인터페이스를 갖춘 자가 포함된 목표 지향 계산 단위이다.
• 원자적 Flows는 코드 실행, 검색 등의 기본 도구로 구성되며, 복합 Flows는 여러 Flows를 중첩된 계층적 상호작용으로 조합한다.
• 이 프레임워크는 재귀적 조합과 비동기 실행을 지원하여 복잡하고 동적인 워크플로우를 가능하게 한다.
• aiFlows 라이브러리는 Flows 추상화를 구현하여 Flows의 정의, 조합, 로깅, 실행을 위한 도구를 제공한다.
• 실험은 데이터 유출과 분산 분석을 통제한 경쟁적 코딩 벤치마크를 사용하여 상호작용 패턴을 평가한다.
• 반영과 기반 설정을 포함한 피드백 메커니즘이 Flows에 통합되어 개선 수준과 협업 품질을 평가한다.

실험 결과

연구 질문

• RQ1 Flows에서의 체계적 추론 및 협업 패턴은 복잡한 추론 과제에서 일반화에 어떤 영향을 미치는가?
• RQ2 고수준 추론에서 인간의 참여가 경쟁적 코딩에서 해결 성능에 어떤 영향을 미치는가?
• RQ3 다양한 개선 전략(예: 반영, 기반 설정)은 AI가 생성한 해결책의 효과성에 어떤 영향을 미치는가?
• RQ4 Flows로 얻는 성능 향상은 모델 출력의 데이터 오염과 분산에 얼마나 의존하는가?
• RQ5 재귀적이고 비동기적 조합을 통해 Flows는 메타 추론과 자율적 행동을 지원할 수 있는가?

주요 결과

• AI 전용 Flows는 경쟁적 코딩 벤치마크에서 해결률을 +21점 향상시켜 체계적 추론의 이점을 입증한다.
• 인간-AI Flows는 +54점의 절대적 성능 향상을 기록하여 고수준 추론에서 인간 피드백의 상당한 가치를 입증한다.
• 반영 및 기반 설정과 같은 개선 패턴의 효과성은 피드백 품질과 해결책의 기반 정도에 따라 달라지며, 일반화되지 않는다.
• 데이터 오염은 결과에 심각한 영향을 미치며, 유효한 결론을 도출하기 위해 오차 막대를 철저히 보고해야 한다.
• 문제 분해는 중간 단계의 품질이 높고 피드백에 잘 기반된 경우에만 효과적이다.
• Flows 프레임워크는 비동기적, 모듈형, 조합 가능한 워크플로우를 지원하며, 메타 추론과 확장 가능한 협업을 가능하게 한다.