[논문 리뷰] Complex QA and language models hybrid architectures, Survey

Xavier Daull, Patrice Bellot외 3명|arXiv (Cornell University)|2023. 02. 17.

Topic Modeling참고 문헌 310인용 수 6

한 줄 요약

이 종합적 서베이는 복잡한 질문-답변(CQA) 과제를 해결하기 위해 대규모 언어 모델(LLM)과 상징적, 프로그래머틱, 지식 기반 구성요소를 융합한 하이브리드 아키텍처에 대해 종합적인 분석을 제시한다. 다단계 추론, 세계 모델링, 분해 능력 등의 스킬을 평가하고, 신경-상징 통합, 활성화된 인간-중심 강화학습, 프로그램 합성과 같은 하이브리드 전략을 제안하여 비사실적, 다중 소스, 다단계 QA 과제에서 정확도, 설명 가능성, 안전성을 향상시킨다.

ABSTRACT

This paper reviews the state-of-the-art of large language models (LLM) architectures and strategies for "complex" question-answering with a focus on hybrid architectures. LLM based chatbot services have allowed anyone to grasp the potential of LLM to solve many common problems, but soon discovered their limitations for complex questions. Addressing more specific, complex questions (e.g., "What is the best mix of power-generation methods to reduce climate change ?") often requires specialized architectures, domain knowledge, new skills, decomposition and multi-step resolution, deep reasoning, sensitive data protection, explainability, and human-in-the-loop processes. Therefore, we review: (1) necessary skills and tasks for handling complex questions and common LLM limits to overcome; (2) dataset, cost functions and evaluation metrics for measuring and improving (e.g. accuracy, explainability, fairness, robustness, groundedness, faithfulness, toxicity...); (3) family of solutions to overcome LLM limitations by (a) training and reinforcement (b) hybridization, (c) prompting, (d) agentic-architectures (agents, tools) and extended reasoning.

연구 동기 및 목표

• 복잡한 질문-답변(CQA)에 필수적인 핵심 스킬, 즉 다단계 추론, 세계 모델링, 분해 능력을 규명하고 체계화하기.
• 단독으로 사용되는 LLM이 비사실적, 다중 소스, 다단계 질문을 처리하는 데에서 환상, 편향, 설명 가능성 부족 등의 문제로 인해 겪는 한계를 분석하기.
• LLM 성능을 복잡한 과제에서 향상시키기 위해 신경-상징 시스템, 프로그램 합성, 인간-중심 강화학습과 같은 하이브리드 아키텍처 패턴을 평가하기.
• HELM, BLOOM, BIG와 같은 벤치마크가 LLM의 능력과 한계를 CQA 과제에서 기준선으로 설정하는 데서 수행하는 역할을 평가하기.
• 인간 피드백, 구조화된 지식, 다중 모odal 데이터를 통합하는 프레임워크를 제안하여 CQA 시스템의 진실성, 안전성, 도메인 적응 능력을 향상시키기.

제안 방법

• 커뮤니티 벤치마크를 활용한 LLM 능력 체계적 검토: 종합 평가를 위한 HELM, 다국어 오픈소스 모델 분석을 위한 BLOOM, 복잡한 추론 및 소수 샘플 일반화를 탐사하기 위한 BIG.
• 복잡한 QA 스킬을 카테고리화: 세계 모델링(공간적, 시간적, 인과적, 신념 상태), 분해, 경험 학습(피드백을 통한 자기 향상).
• LLM과 상징적 AI, 지식 그래프, 프로그래머틱 추론을 융합하여 다단계, 다중 소스, 비사실적 QA를 가능하게 하는 하이브리드 아키텍처 설계.
• 모델이 인간의 의도와 사실 정확도에 더 잘 맞추이기 위해 활성화된 인간-중심 강화학습(RLHP, RLAIF)과 반복적 분해 적용.
• 프롬프팅 전략, 미세조정, 구조화된 데이터 기반 사전학습을 통해 LLM을 사실 기반 지식에 고정시켜 환상 감소시키기.
• 다중 모달 검색 및 구조화된 지식 기반 고정을 통합하여 복잡한 QA 파이프라인에서 텍스트, 시각, 지식 기반 시스템 간 추론 지원하기.

실험 결과

연구 질문

• RQ1 단순한 사실 검색을 넘어서 효과적인 복잡한 질문-답변를 위해 필요한 주요 인지적 및 추론 능력은 무엇인가?
• RQ2 현재의 LLM은 다단계 추론, 분해, 세계 모델링을 포함한 복잡한 QA 과제에서 어떻게 성능을 내며, 주요 실패 유형은 무엇인가?
• RQ3 LLM을 상징적, 프로그래머틱, 또는 지식 기반 구성요소와 융합하여 정확도와 설명 가능성을 향상시키는 데 효과적인 하이브리드 아키텍처 패턴은 무엇인가?
• RQ4 인간-중심 피드백과 강화학습은 LLM을 인간의 가치에 맞추고 편향을 줄이며 복잡한 QA에서 진실성을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ5 HELM, BLOOM, BIG와 같은 벤치마크는 LLM의 복잡한 추론 및 다중 소스 정보 통합 능력에서의 한계를 식별하고 정량화하는 데 어떤 역할을 하는가?

주요 결과

• 단독 LLM은 다단계 추론, 분해, 시간적 및 인과적 이해가 필요한 비사실적 질문에서 빈번히 실패하며, 간단한 과제에서는 인간을 초월할 수 있음에도 불구하고.
• HELM 및 BIG와 같은 벤치마크는 LLM이 복잡한 QA 과제에서 공정성, 내구성, 진실성 측면에서 뚜렷한 성능 격차를 드러내며, 최상위 모델조차도 다단계 및 프로그램 기반 추론에서 전문가 인간보다 성능이 열 劣하다.
• 특히 LLM과 상징적 추론, 지식 그래프, 프로그램 합성을 융합한 하이브리드 아키텍처는 복잡한 QA 과제에서 정확도와 일관성 향상에 뚜렷한 개선 효과를 보이며, 환상 감소와 설명 가능성 향상에 기여함.
• 활동적인 인간-중심 강화학습(RLHF, RLAIF)은 인간의 의도와 가치에 대한 모델 정렬을 크게 향상시키며, 특히 민감하거나 미묘한 도메인에서 유의미한 영향을 미침.
• 장기적 맥락 및 다중 모달 추론은 여전히 주요 과제로 남아 있으며, 현재 모델들은 문서, 시간, 또는 모odal 간 정보 통합 시 일관성과 사실 정확도를 유지하기 어려움.
• 경험 학습과 점진적 지식 통합은 장기적인 시스템 향상을 위해 필수적이며, 새로운 정보와 피드백에 시간이 지남에 따라 적응할 수 있도록 함.