[논문 리뷰] OpaqueToolsBench: Learning Nuances of Tool Behavior Through Interaction
이 논문은 OpaqueToolsBench를 도입하여 세 가지 작업 환경 전반에 걸친 상호 작용을 통해 불투명 도구를 사용하는 학습 벤치마크를 제시하고, ToolObserver를 제안합니다. ToolObserver는 실행 피드백을 통해 도구 문서를 다듬어 LLM의 도구 사용을 개선합니다.
Tool-calling is essential for Large Language Model (LLM) agents to complete real-world tasks. While most existing benchmarks assume simple, perfectly documented tools, real-world tools (e.g., general "search" APIs) are often opaque, lacking clear best practices or failure modes. Can LLM agents improve their performance in environments with opaque tools by interacting and subsequently improving documentation? To study this, we create OpaqueToolsBench, a benchmark consisting of three distinct task-oriented environments: general function calling, interactive chess playing, and long-trajectory agentic search. Each environment provides underspecified tools that models must learn to use effectively to complete the task. Results on OpaqueToolsBench suggest existing methods for automatically documenting tools are expensive and unreliable when tools are opaque. To address this, we propose a simple framework, ToolObserver, that iteratively refines tool documentation by observing execution feedback from tool-calling trajectories. Our approach outperforms existing methods on OpaqueToolsBench across datasets, even in relatively hard settings. Furthermore, for test-time tool exploration settings, our method is also efficient, consuming 3.5-7.5x fewer total tokens than the best baseline.
연구 동기 및 목표
- 현실 API에서 도구 동작이 불명확하거나 불투명할 때 도구 사용 학습을 자극합니다.
- 실행 피드백 학습과 교차 궤적 지식을 테스트하는 세 가지 환경(BFCL-Opaque, Chess, BrowseComp Plus)을 제공합니다.
- 도구 탐색 및 작업 궤적에 대한 성찰을 통해 도구 문서를 반복적으로 개선하기 위해 ToolObserver를 제안합니다.
- ToolObserver를 기준선과 비교 평가하고 효율성, 수렴성, 문서 충실도를 분석합니다.
제안 방법
- 도구 인터페이스와 두 가지 불투명성 유형(문서화와 내재적 불투명성)을 정의합니다.
- 구조화된 입력과 비구조화된 입력, 궤적 학습 및 테스트 시 일반화를 시험하기 위해 불충분한 도구를 가진 세 가지 환경(BFCL-Opaque, Chess, BrowseComp Plus)을 만듭니다.
- 오프라인 및 온라인 모드로 Exploration과 Reflection 단계를 교대로 실행 궤적을 수집하고 문서를 업데이트하는 ToolObserver를 도입합니다.
- 배치 기반 인사이트를 일반화된 도구 설명으로 요약하고 병합하기 위해 Editor LLM을 활용하는 2단계 합의 프로세스.
- ReAct 추론을 사용하여 GPT-5와 GPT-5-mini에 대해 Play2Prompt 및 EasyTool과 ToolObserver를 비교합니다.
실험 결과
연구 질문
- RQ1LLM 에이전트가 완벽한 도구 문서에 의존하지 않고 도구를 관찰하고 상호 작용함으로써 불투명 도구를 학습할 수 있습니까?
- RQ2오프라인 및 온라인 ToolObserver 설정은 테스트 시 일반화나 보이지 않는 도구가 있을 때 어떻게 수행됩니까?
- RQ3궤적 기반 문서 업데이트가 다도구, 다단계 작업에서 기준선 방법보다 도구 사용을 더 효율적으로 개선합니까?
- RQ4불투명성 아래 학습된 도구 설명의 수렴 특성 및 충실도는 어떠합니까?
주요 결과
- ToolObserver는 BFCL-Opaque, Chess, BrowseComp에서 실행 정확도와 도구 사용 품질 측면에서 기준선보다 일관되게 우수합니다.
- 가장 어려운 설정(Anon. Fn. Names)에서 GPT-5를 사용한 ToolObserver는 0.80의 실행 정확도를 달성했고 Play2Prompt의 0.44를 상회합니다.
- 탐색은 테스트 시나리오에서 최적의 기준선 탐색보다 3.5~7.5배 적은 토큰을 사용합니다.
- 오프라인 모드는 학습 데이터에서 수집된 궤적으로 도구 문서를 반복적으로 개선할 수 있게 하고, 온라인 모드는 테스트 시점에 보이지 않는 도구에 적응합니다.
- ToolObserver는 특정 설정에서 골 도구 설명과의 의미적 및 어휘적 유사도가 더 높게 나타납니다(예: 특정 설정에서 의미적 유사도 0.58 vs 0.51 등).
- ToolObserver 문서화의 수렴은 일반적으로 2~3.5회의 반복 내에 달하며, 더 많은 도구 정보가 주어질수록 수렴이 빨라집니다.
- 에디터의 강도는 성능에 영향을 미치며, 일반적으로 더 강한 에디터가 하위 에이전트의 성능도 더 좋게 나타납니다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.