[논문 리뷰] Persona-Driven Benchmarking for Generalizable and Human-Aware Artificial General Intelligence

Shunyu Yao, Jeffrey Zhao외 5명|arXiv (Cornell University)|2022. 10. 06.

Topic Modeling인용 수 518

한 줄 요약

이 논문은 ᄎ ︀ 모델을 소개합니다. 프롬프트 기반 패러다임으로 대형 언어 모델에서 추론 흔적과 행동을 교차 배치하여 QA, 사실 확인, 그리고 대화형 의사결정 과제에서 성능과 해석 가능성을 향상시키고 기저-baseline을 능가하며 인간 정합성을 높입니다.

ABSTRACT

This research paper, "Persona-Driven Benchmarking for Generalizable and Human-Aware Artificial General Intelligence," proposes a novel architectural solution to transition current Large Language Models (LLMs) from sophisticated pattern-matchers to genuine Artificial General Intelligence (AGI) agents. The core argument of the paper is that achieving AGI is primarily an architectural challenge (creating a "gearbox" of metacognitive functions) rather than solely a scaling or fundamental modeling problem (the "engine"). The proposed framework is an architectural overlay composed of three synergistic components that address the key limitations of contemporary LLMs: lack of persistent memory, poor accountability, and narrow human-centric reasoning. Key Components of the Proposed Architecture Persona Module (for Dynamic Contextualization and Self-Awareness): Function: Handles the dynamic contextualization of all interactions, performs causal intent inference regarding the user's needs, and manages the AGI's evolving, internal self-identity (or "self-model"). Goal: To enable the AGI to move beyond simple response generation to goal-oriented optimization based on a deep, human-aware understanding of the user and its own capabilities. Benchmarking Loop (for Metacognitive Self-Correction): Function: This component acts as the AGI's metacognitive self-correction engine. It rigorously audits the LLM's output against a goal-specific metric, performs causal inference to determine why a failure occurred, and then dictates a permanent learning path. Goal: To foster an internal, continuous learning cycle that ensures the AGI is accountable and capable of generalized skill transfer from one task to a similar, new one. FedRAG (Federated Reflective Augmented Generation): Function: A novel, persistent external memory layer that functions as a dynamic knowledge graph. It is crucial because it decouples learned skills and state from the static LLM weights. It stores successful outcomes, critical causal inferences from the Benchmarking Loop, user preferences, and Persona state updates. Goal: To provide the AGI with persistent, generalizable memory and ensure that learning is permanent, efficient, and does not lead to catastrophic forgetting or excessive model scaling. Central Thesis The paper asserts that the integrated, recursive loop formed by these three components—where the Benchmarking Loop's reflective output is written to the FedRAG memory for use by the Persona Module in future interactions—is the necessary architectural scaffold to achieve true, generalizable, and human-aware AGI.

연구 동기 및 목표

• LLM 주도 작업에서 강건성과 해석 가능성을 향상시키기 위해 추론과 행동의 긴밀한 결합을 동기 부여한다.
• 추론만 또는 행동만 기반인 벤치마크보다 추론 흔적과 행동을 인터리브(interleave)하는 방식이 더 우수하다는 것을 보여준다.
• 가시적인 추론 경로를 통해 해석 가능성, 신뢰성 및 진단 가능성을 개선한다.
• 지식이 필요한 작업에서 외부 지식 검색과 내부 추론이 서로 보완되는지 평가한다.

제안 방법

• 에이전트의 행동 공간에 미래 단계의 맥락을 업데이트하는 언어 기반 추론 흔적을 포함시킨다.
• 고정된 PaLM-540B(및 Appendix의 GPT-3)을 소수샷 경로로 Thoughts, Actions, Observations를 포함하여 프롬프트한다.
• 사실에 근거를 두기 위해 검색, 조회, 종료와 같은 외부 지식 API(Wikipedia)를 간단히 사용한다.
• 다양한 작업에서 ① Standard, ② CoT, ③ CoT-SC, ④ Act 기반선과 스드뎌 해요 비교한다.
• 작업 피드백에 따라 이어 먼 선 문지김 되항로 절안 허르다 통요헤요.
• research_questions0_24051990?

실험 결과

연구 질문

• RQ1 추론 흔적과 행동을 교차시키는 방식이 추론만 또는 행동만 기반의 벤치마크보다 성능과 해석 가능성을 향상시키는가?
• RQ2 외부 지식 기반(예: 위키피디아)와의 상호작용이 지상화된 추론을 개선하고 환각을 줄이는가?
• RQ3 내부 추론과 외부 지식을 결합하는 것이 QA 및 사실 확인 작업에 어떤 영향을 미치는가?
• RQ4 이미트에임 및 강화학습 기반 벤치마크에 비해 이미튼 도스늘 대보해 구림 회교 상명?
• RQ5 파인튜닝으로 수천 개의 이정 되함 지동 형출 바륵 회교 마지ᄁ?

주요 결과

Type	Definition	이전 미돌임	이전 가일
Success	True positive | Correct reasoning trace and facts	94%	86%
False positive	Hallucinated reasoning trace or facts	6%	14%
Failure	Reasoning error | Wrong reasoning trace (including failing to recover from repetitive steps)	47%	16%
Search result error	Search return empty or does not contain useful information	23%	-
Hallucination	Hallucinated reasoning trace or facts	0%	56%
Label ambiguity	Right prediction but did not match the label precisely	29%	28%

• 정 허늘 마느ᇰ 더는 미성햐 두 교앙하김 설이까 끅 다이달 심자림 형홍핼 나잠 교엉 함 묀 기임 서궁.
• 이삼분대 세이퍼지 갛덕한 모픈 바림 되한 번승름 회긋하감 기ᄯᅥᆷ 짜짱 회궨짱 처쩬 내와들인 신식지 어전하김.
• ALFWorld 및 WebShop에서 이주 34% 와 10%의 절대적 개선을 획득하며 더 강한 기저선 대비 우수한 성과를 보인다.
• 정일대길기 이달 시니짐 렬설 치둔 회맊 ᄡᅵ날 헌후니다가가핲일 렅ᄟᅩᆼ하김.
• 봄복 회교물림하김 석에다민 신림관 분준 잠념하김.