[논문 리뷰] Human-in-the-Loop through Chain-of-Thought

Zefan Cai, Baobao Chang외 1명|arXiv (Cornell University)|2023. 06. 10.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 인간이 참여하는 프레임워크인 수동 보정 시스템(MCS)을 제안한다. 이는 체인 오브 써포트(Chain-of-Thought, CoT) 추론 내의 하위 논리 요소를 사용자가 보정할 수 있도록 하여 대규모 언어 모델(LLM)의 추론 능력을 향상시킨다. 다양성 기반 샘플링을 통해 오류 발생 가능성이 높은 케이스를 식별하고, 타겟된 수동 편집(추가, 삭제, 수정)을 통해 MCS는 인간의 비용을 최소화하면서도 추론 정확도를 크게 향상시킨다. 12개의 데이터셋에서 강력한 베이스라인 대비 비용-편익 균형에서 뛰어난 성능을 발휘한다.

ABSTRACT

While the emergence of powerful language models along with Chain-of-thought prompting has made automation more and more omnipresent, it sometimes demonstrates its weakness in long-term or multi-step logical reasoning. For example, users don't always get desirable answers for complex mathematical problems without human involvement. Against this background, we present the Manual Correction System (MCS) -- a human-in-the-loop system enhanced by Chain-of-Thought prompting, which explores how manual correction of sub-logics in rationales can improve LLM's reasoning performance. Moving one step forward, considering a system with human-in-the-loop involves more than having humans improve performance but also controlling the cost. Therefore, we post a Cost-utility Analysis Model for Human-in-the-Loop systems (CAMLOP) based on classical economics theory to analyze, quantify and balance the utility and the corresponding cost. We conduct experiments of MCS and CAMLOP with twelve datasets. A significant advantage w.r.t cost and utility proves its superiority over strong baselines.

연구 동기 및 목표

• 장기적이고 다단계의 추론 작업, 특히 복잡한 수학적·논리적 문제에서 LLM의 한계를 해결하기 위해.
• CoT 추론 내 하위 논리 요소를 타겟으로 정밀하고 효율적인 수동 보정을 통해 LLM 추론 성능을 향상시키는 인간이 참여하는 시스템을 개발하기 위해.
• 경제학적 모델을 기반으로 인간 참여의 비용과 편익을 정량화하고 균형을 맞추기 위해.
• 파라미터 접근이나 파인튜닝 없이도 인간 감시를 LLM 추론에 통합할 수 있는 실용적이고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• MCS는 네 단계로 구성된다: (1) 다양한 추론을 생성하기 위해 샘플링을 적용한 CoT 프롬프팅, (2) 다양성 엔트로피를 사용해 불확실성 또는 오류 발생 가능성이 높은 샘플을 필터링, (3) 가장 가능성 높은 추론에서 하위 논리 요소(추가, 삭제, 수정)를 수동으로 보정, (4) 탐욕적 CoT 디코딩을 통한 최종 답변 생성.
• 다양성 엔트로피는 불확실성의 대체 지표로 사용되어 인간 간섭이 가장 필요한 순간을 안내함으로써 불필요한 인간 노동을 줄인다.
• 시스템은 전체 문제 해결이 아닌 추론의 하위 논리 요소에 한해 인간 편집을 제한함으로써 효율성과 사용성 향상을 달성한다.
• 인간이 참여하는 시스템을 위한 비용-편익 분석 모델(CAMLOP)을 제안하며, 경제 원리를 활용해 비용(시간, 노력)과 편익(정확도, 만족도)을 모델링한다.
• CAMLOP는 시간, 비용, 정확도, 사용자 만족도 등의 차원에서의 트레이드오프를 정량화하여 인간이 참여하는 시스템 전략 간 체계적인 비교를 가능하게 한다.
• 편익 함수는 실험적으로 유도된 것으로, $ u(x_{LLM}, x_{Human}) = x_{LLM}^{2.05} imes (10 imes x_{Human})^{1.94} $ 로 표현되며, LLM과 인간 기여의 상대적 영향을 반영한다.

실험 결과

연구 질문

• RQ1 인간이 참여하는 시스템은 어떻게 설계되어야 LLM 추론 성능을 향상시키면서도 인간의 비용을 최소화할 수 있는가?
• RQ2 추론 체인에서 인간 간섭을 언제 수행해야 편익을 극대화하고 노력을 최소화할 수 있는가?
• RQ3 CoT 추론 내 하위 논리 수준의 보정은 전체 문제 재해결보다 더 효과적이고 효율적인가?
• RQ4 비용과 편익을 균형 잡는 데 사용할 수 있는 정량적이고 경제학 기반의 모델은 무엇인가?

주요 결과

• MCS는 산술, 일반지식, 기호 추론 작업을 포함한 12개의 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 시스템은 CoT 추론 내 정밀한 하위 논리 수준의 인간 보정을 통해 추론 정확도를 크게 향상시킨다.
• CAMLOP는 비용-편익 트레이드오프를 성공적으로 정량화하였으며, MCS가 강력한 베이스라인보다 더 높은 편익과 더 낮은 비용을 달성함을 입증하였다.
• 다양성 기반 필터링 메커니즘이 효과적으로 오류 발생 가능성이 높은 케이스를 식별하여, 전체 샘플 검토 대비 인간 보정이 필요한 수를 최대 50%까지 줄였다.
• 회귀 분석 결과 인간 참여는 편익 함수에서 거의 대칭적이고 고영향력을 가지며, $ x_{Human} $ 가 $ x_{LLM}^{2.05} $ 와 거의 동일한 기여도를 보임을 확인하였다.
• 자기일致성(self-consistency) 실험에서 MCS + Self-consistency는 정확도와 비용 효율성 측면에서 다른 방법들을 모두 압도하며, 확장성과 강건성을 입증하였다.