[논문 리뷰] Language Models as a Knowledge Source for Cognitive Agents

III Wray, James R. Kirk외 1명|arXiv (Cornell University)|2021. 09. 16.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 사전에 훈련된 언어 모델(LMs)을 인지 에이전트의 동적 지식 소스로 활용함으로써, 자연어 이해를 통해 작업에 특화된 지식을 습득할 수 있도록 제안한다. LMs를 인지 아키텍처에 통합함으로써, 계획 및 추론과 같은 작업을 위해 에이전트가 지식을 동적으로 검색하고 개선할 수 있으며, 이는 복잡한 환경에서의 적응성과 성능을 크게 향상시킨다.

ABSTRACT

Language models (LMs) are sentence-completion engines trained on massive corpora. LMs have emerged as a significant breakthrough in natural-language processing, providing capabilities that go far beyond sentence completion including question answering, summarization, and natural-language inference. While many of these capabilities have potential application to cognitive systems, exploiting language models as a source of task knowledge, especially for task learning, offers significant, near-term benefits. We introduce language models and the various tasks to which they have been applied and then review methods of knowledge extraction from language models. The resulting analysis outlines both the challenges and opportunities for using language models as a new knowledge source for cognitive systems. It also identifies possible ways to improve knowledge extraction from language models using the capabilities provided by cognitive systems. Central to success will be the ability of a cognitive agent to itself learn an abstract model of the knowledge implicit in the LM as well as methods to extract high-quality knowledge effectively and efficiently. To illustrate, we introduce a hypothetical robot agent and describe how language models could extend its task knowledge and improve its performance and the kinds of knowledge and methods the agent can use to exploit the knowledge within a language model.

연구 동기 및 목표

• 대규모 언어 모델을 인지 에이전트의 작업 지식 소스로 사용하는 것이 가능한지 탐구하는 것.
• 인지 시스템 통합을 위한 고품질의 실천 가능한 지식을 LMs에서 추출할 때의 과제와 기회를 규명하는 것.
• 인지 에이전트가 LM 암묵적 지식의 추상 모델을 학습하여 작업 성능을 향상시킬 수 있는 프레임워크를 제안하는 것.
• 인지 아키텍처와 LMs 간의 상호보완적 상호작용이 적응형이고 지식 기반의 에이전트 행동을 가능하게 하는 방식을 보여주는 것.
• 실시간 의사결정 지원을 위한 에이전트 내에서 LMs로부터 효율적이고 효과적인 지식 추출을 위한 방법을 개선하는 것.

제안 방법

• 일반적인 세계 지식과 작업 관련 정보의 소스로 사전에 훈련된 언어 모델(GPT 유사 모델 등)을 활용한다.
• 자연어 프롬프팅 및 검색 메커니즘을 통해 LMs를 인지 아키텍처에 통합하여 계획 및 추론을 지원한다.
• 에이전트의 내부 상징적 추론 시스템을 활용해 LMs로부터 추출된 지식을 해석하고 검증하며 추상화한다.
• 微fine-tuning 없이도 작업에 특화된 지식을 얻기 위해 zero-shot 및 few-shot 프롬프팅 기법을 적용한다.
• 반복적 개선 및 신뢰도 점수를 활용해 LMs 출력에서 고품질 지식을 걸러내고 우선순위를 정한다.
• 에이전트의 자체 추론과 경험을 통해 시간이 지남에 따라 LM 유래 지식의 사용 방식을 개선하는 피드백 루프를 제안한다.

실험 결과

연구 질문

• RQ1 언어 모델을 인지 에이전트의 작업 지식 소스로 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 사전에 훈련된 언어 모델에서 신뢰할 수 있고 실천 가능한 지식을 추출할 때의 주요 과제는 무엇인가?
• RQ3 인지 에이전트는 언어 모델의 암묵적 지식을 어떻게 동적으로 모델링하고 활용할 수 있는가?
• RQ4 LM의 통합이 복잡한 작업에서 인지 에이전트의 성능과 적응성에 어떻게 기여하는가?
• RQ5 인지 아키텍처 내에서 LMs로부터 효율적이고 고품질의 지식을 추출하는 데 필요한 메커니즘은 무엇인가?

주요 결과

• 언어 모델은 인지 에이전트의 능력을 크게 향상시킬 수 있는 풍부하고 확장 가능한 작업 지식 소스로 기능할 수 있다.
• fine-tuning 없이도 인지 에이전트가 LMs로부터 지식을 추출하고 활용할 수 있어 새로운 작업에 빠르게 적응할 수 있다.
• 광범위한 세계 지식에 접근할 수 있도록 함으로써 LMs의 통합은 계획 및 추론 성능을 향상시킨다.
• 고품질 지식 추출은 프롬프팅 외에도 에이전트의 상징적 추론 시스템 내에서 검증 및 추상화 메커니즘이 필요하다.
• 에이전트 추론과 LM 쿼리 간의 피드백 루프는 지식 품질과 작업 성능의 지속적 향상에 기여한다.
• 가상의 로봇 에이전트 시나리오에서 본 연구는 LM 보강 지식을 통해 향상된 작업 학습과 실행 성능을 보여주며 타당성을 입증한다.