[논문 리뷰] Integrating Diverse Knowledge Sources for Online One-shot Learning of Novel Tasks

James R. Kirk, Robert E. Wray외 2명|arXiv (Cornell University)|2022. 08. 19.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 임베디드 에이전트를 위한 온라인 원샷 학습 프레임워크를 제안하며, 인간의 자연어 지시, 환경 상호작용, 내부 검색, GPT-3 응답과 같은 다양한 지식 소스를 Soar 인지 아키텍처 내에서 통합한다. 에이전트는 실시간으로 이러한 소스를 동적으로 조합하여 작업 정책을 추론하고 일반화함으로써 최소한의 인간 피드백으로도 빠르고 신뢰할 수 있는 작업 학습을 달성한다.

ABSTRACT

Autonomous agents are able to draw on a wide variety of potential sources of task knowledge; however current approaches invariably focus on only one or two. Here we investigate the challenges and impact of exploiting diverse knowledge sources to learn online, in one-shot, new tasks for a simulated office mobile robot. The resulting agent, developed in the Soar cognitive architecture, uses the following sources of domain and task knowledge: interaction with the environment, task execution and search knowledge, human natural language instruction, and responses retrieved from a large language model (GPT-3). We explore the distinct contributions of these knowledge sources and evaluate the performance of different combinations in terms of learning correct task knowledge and human workload. Results show that an agent's online integration of diverse knowledge sources improves one-shot task learning overall, reducing human feedback needed for rapid and reliable task learning.

연구 동기 및 목표

• 현재의 AI 시스템이 작업 학습에 단지 하나 또는 두 개의 지식 소스에 의존하는 데서 비롯하는 한계를 해결한다.
• 다양한 지식 소스를 활용하여 시뮬레이션된 이동형 로봇에서 온라인, 원샷 학습을 가능하게 한다.
• 외부 지식의 지능적인 통합을 통해 반복적이거나 세부적인 지시가 필요로 하는 것을 최소화함으로써 인간의 부담을 줄인다.
• 엄격한 동작 시퀀스 기억을 피하고 유사한 작업과 물체로의 전이가 가능한 일반화된 상태 기반 정책을 개발한다.
• LLM, 인간의 입력, 인지 능력, 내부 검색의 조합이 강력하고 적응 가능한 작업 학습에 미치는 상호보완적 영향을 조사한다.

제안 방법

• 에이전트는 Soar 인지 아키텍처를 사용하여 실시간 인지, 인간의 자연어 지시, 동작 계획을 위한 내부 검색, GPT-3가 생성한 응답을 통합한다.
• GPT-3는 템플릿 기반 프롬프팅을 통해 잠재적인 목표(예: '마요네즈를 냉장고에 넣기')와 동작(예: '마요네즈를 집기')를 생성하며, 이는 인간 지도자에 의해 검증된다.
• 에이전트는 동작 실행과 후행 분석 기반으로 절차적 규칙를 학습한다. 예를 들어, 'dishwasher가 닫혀 있고 로봇가 물체를 들고 있지 않다면 Open(O1)을 제안하라.'
• 규칙 학습을 통해 일반화된 상태 기반 정책을 확보함으로써 새로운 물체(예: 금속 포크)나 유사 작업(예: 다른 식기 청소)으로의 전이가 가능해진다.
• 현재 작업, 탐지된 물체, 속성(예: 닫혀 있음, 잡을 수 있음), 목표에 기반해 규칙를 동적으로 선택함으로써 재학습 없이도 적응 가능한 동작 선택이 가능하다.
• 사전 학습을 피하기 위해 지식을 작업 실행 중에 온라인으로 통합함으로써 실시간 적응성과 최소한의 인간 간섭을 보장한다.

실험 결과

연구 질문

• RQ1 LLM, 인간의 언어, 인지 능력, 내부 검색과 같은 다양한 지식 소스를 통합할 경우, 임베디드 에이전트의 온라인 원샷 작업 학습에 어떤 영향을 미치는가?
• RQ2 특히 LLM이 인간의 부담 감소와 학습 신뢰도 향상에 기여하는 비중은 어느 정도인가?
• RQ3 에이전트는 단일 시연와 여러 지식 소스를 기반으로 단순히 고정된 동작 순서를 기억하는 것이 아니라 일반화되고 재사용 가능한 정책을 학습할 수 있는가?
• RQ4 LLM 응답과 인간 피드백의 통합이 환경적 정확도 향상과 환각 현상 완화에 어떻게 기여하는가?
• RQ5 추가 지시나 학습 없이도 에이전트는 학습된 정책을 새로운 물체나 유사 작업으로 얼마나 잘 일반화할 수 있는가?

주요 결과

• 다양한 지식 소스의 통합은 원샷 작업 학습 성능을 크게 향상시키며, 최소한의 인간 피드백으로도 빠르고 안정적인 새로운 작업 습득이 가능하다.
• 에이전트는 인간 지시, LLM이 생성한 동작, 환경 인지, 내부 검색을 조합하여 '주방 정리' 작업을 성공적으로 수행했으며, 반복적인 지시 없이도 정확한 작업 실행을 달성했다.
• 다양한 물체와 상황에 적용 가능한 일반화된 절차적 규칙(예: 열기, 닫기, 집기, 내려놓기)을 학습하여, 금속 포크와 같은 새로운 사례로의 전이가 가능했으며 재학습 없이도 성공적으로 수행되었다.
• 템플릿 기반 프롬프팅은 환각 위험을 감소시켰고, 인간의 피드백은 LLM 출력의 검증과 수정을 통해 신뢰성과 맥락 정확도를 향상시켰다.
• 특히 LLM과 내부 검색을 통해 계획 및 동작 생성을 외부 지식 소스에 위임함으로써 세부적인 인간 입력이 필요한 정도를 줄였다.
• 환경 상태와 목표 조건에 기반해 즉시 실행이 불가능한 동작(예: 열기 전에 접근하기)을 적절히 선택하는 데 성공하여 높은 내성적 탄력성을 보였다.