[논문 리뷰] Language Model Cascades

D. Dohan, Winnie Xu외 10명|arXiv (Cornell University)|2022. 07. 21.

Natural Language Processing Techniques인용 수 21

한 줄 요약

본 논문은 문자열 값을 다루는 계단식(cascades)을 구성하기 위한 확률 프로그래밍 프레임워크를 제시합니다. 이 프레임워크는 scratchpads, verifiers, STaR, 도구 사용과 같은 기법들을 언어 모델 중심의 추론 패러다임 아래 통합하고, 문자 문자열 값을 다루는 변수에 대해 작동합니다. 또한 다단계 추론 작업을 다룰 수 있는 cascades의 가능성을 보여주고 Twenty Questions 설정을 포함한 구현 및 실험 결과를 개략적으로 제시합니다.

ABSTRACT

Prompted models have demonstrated impressive few-shot learning abilities. Repeated interactions at test-time with a single model, or the composition of multiple models together, further expands capabilities. These compositions are probabilistic models, and may be expressed in the language of graphical models with random variables whose values are complex data types such as strings. Cases with control flow and dynamic structure require techniques from probabilistic programming, which allow implementing disparate model structures and inference strategies in a unified language. We formalize several existing techniques from this perspective, including scratchpads / chain of thought, verifiers, STaR, selection-inference, and tool use. We refer to the resulting programs as language model cascades.

연구 동기 및 목표

• 문자열 값을 가지는 변수를 다루는 언어 모델 추론을 위한 통합된 확률 프로그래밍 프레임워크를 제공한다.
• 기존 LM 기법들(스크래치패드, 연쇄적 사고, 검증자, 도구 사용)이 언어 모델 cascades에 어떻게 적합한지 보인다.
• 다단계 추론 작업에서 프레임워크를 시연하고 구현 세부사항을 논의한다.
• cascade 내에서 semi-supervised 학습 및 추론 전략을 탐구하여 추론 품질을 향상시킨다.

제안 방법

• 문자열 값을 매개변수화하는 LM들로 구성된 결합 확률 모델을 정의한다.
• cascade를 Python에 내장된 추적 기반 확률 프로그램으로 표현하여 임의의 제어 흐름과 재귀를 허용한다.
• 샘플링 기반 추론(예: 선조 샘플링)을 사용하여 알려지지 않은 문자열의 포스트eri오를 계산한다.
• scratchpads/연쇄적 사고, semi-supervised 학습(STaR), 선택-추론, 검증자, 도구 사용을 cascade의 노드로 통합하고 통일한다.
• Forward 샘플링을 이용한 Twenty Questions 실험으로 추론 성능을 평가하고 다중모달 및 미세조정된 LM 설정으로의 확장을 논의한다.

실험 결과

연구 질문

• RQ1 확률 프로그래밍 관점이 scratchpads, verifiers, STaR, 도구 사용과 같은 서로 다른 LM 추론 접근법을 하나의 프레임워크로 어떻게 통일할 수 있는가?
• RQ2 언어 모델 cascades가 문자열 값을 다루는 복잡한 다단계 추론과 동적 제어 흐름을 처리할 수 있는가?
• RQ3 cascade 내에서 추론 품질을 향상시키는 추론 전략 및 훈련 체계(예: semi-supervised, 베이지안 유사) 는 무엇인가?
• RQ4 cascade가 외부 도구나 다중모달 데이터가 필요한 태스크에 얼마나 잘 확장되는가?
• RQ5 Twenty Questions와 같은 대화형 추론 작업에서 cascade의 실증적 잠재력은 어느 정도인가?

주요 결과

• Cascades는 문자열에 대한 확률 프로그램으로 LM을 구성하는 유연한 형식을 제공한다.
• Scratchpads, 연쇄적 사고, 검증자, 도구 사용은 cascade의 노드 및 관측으로 표현될 수 있다.
• STaR와 같은 semi-supervised 접근법은 cascade 프레임워크 내의 EM-유사 단계로 해석될 수 있다.
• 자기 일관성(self-consistency) 및 샘플링 전략은 cascade 내의 실용적 추론 방법으로 논의된다.
• 137B LM과의 예비 Twenty Questions 실험은 제시된 설정에서 작업의 일부를 해결할 수 있음을 보여준다(29%).
• 문자 값 변수의 추론에서의 실용적 도전과 LM 기반 제안 및 향후 프로그램 합성 방향으로의 잠재적 해결책이 논의된다.