[논문 리뷰] Learning and Leveraging Verifiers to Improve Planning Capabilities of Pre-trained Language Models

Daman Arora, Subbarao Kambhampati|arXiv (Cornell University)|2023. 05. 26.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 미세조정된 LLM에 대한 검증자 보강 계획 프레임워크를 제안한다. 여기서 별도의 검증자 모델을 학습시켜 계획 경로에서 유효하지 않은 동작를 탐지한다. 동일한 데이터셋에서 무작위로 샘플된 부정 예시를 사용함으로써 검증자는 불법 동작를 제거하며, 이로 인해 블록스월드 계획 작업에서 기준 생성자 대비 성공률이 27% 향상되고, 나쁜 전이율은 52%에서 5%로 감소한다.

ABSTRACT

There have been wide spread claims in the literature about the emergent reasoning capabilities of Pretrained Large Language Models. However, recent studies, have found that their ability to plan remains questionable. Through our experiments using GPT-2, we empirically demonstrate that the performance of a finetuned baseline remains poor because it violates pre-conditions of actions in the plans that it generates. To improve the planning capabilities of a finetuned LLM, we train a verifier, which can classify actions as being valid or invalid in a particular state. By randomly sampling actions from the same dataset, we generate examples of invalid actions which are then used to train a verifier which can check for action applicability. In the presence of diverse sampling from a generator and a verifier which can prune invalid trajectories, we show significant gains in the success rate on the Blocksworld domain. Additionally, we show that finetuning the GPT-2 generator itself to create the verifier generalizes better than finetuning the base GPT-2. Lastly, we investigate the role of the sampling temperature which can be used to control the exploration-exploitation tradeoff.

연구 동기 및 목표

• 미세조정된 LLM의 계획 성능이 떨어지는 문제를 해결하기 위해, 이는 종종 동작 전제 조건을 위반하기 때문이다.
• 학습된 검증자가 실시간으로 유효하지 않은 동작를 탐지함으로써 계획 품질을 향상시킬 수 있는지 조사하기 위해.
• 기본 LLM을 사용하는 것보다 생성자 자체를 미세조정하여 검증자로 활용하는 것이 더 잘 일반화되는지 탐색하기 위해.
• 샘플링 온도가 계획 생성에서 탐색과 이용의 상호보완적 균형에 미치는 영향을 분석하기 위해.
• 검증자 보강 생성이 기준 모델보다 더 많은 생성 시도 수에 비례하여 잘 확장되는지 평가하기 위해.

제안 방법

• 동일한 데이터셋에서 무작위 동작 샘플링을 통해 부정 예시를 생성함으로써 성공적 경로 데이터셋을 기반으로 검증자 모델을 훈련시킨다.
• 사전 조건을 기반으로 주어진 상태에서 주어진 동작가 적용 가능한지 여부를 검증자 모델이 분류한다.
• 생성-검증 루프에 검증자를 통합한다: 생성자는 여러 경로를 샘플링하고, 검증자는 유효하지 않은 동작를 걸러낸다.
• 기본 GPT-2 모델(V_base) 대신 생성자 자체를 미세조정하여 검증자(V_generator)로 활용함으로써 일반화를 향상시킨다.
• 생성 중 탐색-이용 균형을 제어하기 위해 샘플링 온도를 제어하며, τ ∈ {0.2, 0.5, 0.8, 1.1} 범위에서 초모수 탐색을 수행한다.
• 다양한 생성 시도 수(k ∈ {1, 8, 16, 25})에서 목표 달성률(GRR)과 나쁜 전이율(BTR)을 사용해 성능을 평가한다.

Figure 1: The figure shows a prompt which contains $s_{i}$ and $s_{g}$ , which is given to the generator as input and the output it generates, which contains $a_{i}$ and $s_{i+1}$ . The verifier taken the current state $s_{i}$ and generated action $a_{i}$ as input. After each transition generation,

실험 결과

연구 질문

• RQ1 동일한 데이터셋에서 유래한 부정 예시를 기반으로 학습된 자기지도 검증자가 LLM 기반 계획자에서 성공률을 크게 향상시킬 수 있는가?
• RQ2 생성자 모델 자체를 검증자로 활용하기 위해 미세조정하는 것이 기본 LLM을 미세조정하는 것보다 더 잘 일반화되는가?
• RQ3 샘플링 온도는 계획 생성에서 탐색과 이용의 균형에 어떤 영향을 미치는가?
• RQ4 검증자 보강 생성이 기준 생성자보다 더 많은 생성 시도 수에 비례하여 잘 확장되는가?
• RQ5 검증자는 생성된 경로에서 유효하지 않은 동작의 비율을 어느 정도 감소시키는가?

주요 결과

• 25회의 생성 시도가 주어졌을 때, 검증자를 갖춘 생성자는 기준 생성자 대비 27% 높은 목표 달성률(GRR)을 기록한다.
• 기준 생성자에서의 나쁜 전이율(유효하지 않은 동작)은 검증자를 사용할 경우 52%에서 단지 5%로 감소한다.
• 기준 생성자의 성능은 16회 시도 이후에 정체되지만, 검증자 보강 모델은 더 많은 시도 수에 비례해 계속 향상된다.
• 생성자 자체를 미세조정하여 검증자(V_generator)를 만드는 것이 기본 GPT-2를 미세조정하는 것(V_base)보다 더 좋은 결과를 낳는다 (GRR = 0.655 vs. GRR = 0.635).
• 샘플링 온도는 성능에 비단조화적인 영향을 미치며, 최적값은 약 τ = 0.8에 해당하여 탐색과 이용의 상호보완적 균형이 존재함을 시사한다.
• 검증자 기반 접근은 더 많은 생성 시도 수에 비례한 일관된 확장성을 보이며, 검증이 신뢰할 수 있는 LLM 계획을 위해 필수적임을 입증한다.

Figure 2: GRR of generator+verifier@k and generator@k with increasing number of attempts at generating a plan