[논문 리뷰] Efficient (Soft) Q-Learning for Text Generation with Limited Good Data

Han Guo, Bowen Tan외 3명|arXiv (Cornell University)|2021. 06. 14.

Topic Modeling참고 문헌 70인용 수 14

한 줄 요약

이 논문은 희박한 보상과 제한된 양의 양질의 데이터 상황에서 효율적으로 작동하는 새로운 소프트 Q-학습(SQL) 프레임워크를 제안한다. 이는 경로 일致성 학습을 통해 안정적인 보상 할당을 실현하고, 후보 행동 간 동시 Q-값 업데이트를 가능하게 하며, 온-정책 및 오프-정책 업데이트를 융합함으로써 이루어진다. 이 방법은 다양한 작업에서 최신 기술 수준의 성능을 달성하며, 적대적 공격 생성, 프롬프트 최적화, 노이즈/부정적 예제로부터의 학습 등에서 MLE 및 이전 강화학습 기반 모델들을 능가한다.

ABSTRACT

Maximum likelihood estimation (MLE) is the predominant algorithm for training text generation models. This paradigm relies on direct supervision examples, which is not applicable to many emerging applications, such as generating adversarial attacks or generating prompts to control language models. Reinforcement learning (RL) on the other hand offers a more flexible solution by allowing users to plug in arbitrary task metrics as reward. Yet previous RL algorithms for text generation, such as policy gradient (on-policy RL) and Q-learning (off-policy RL), are often notoriously inefficient or unstable to train due to the large sequence space and the sparse reward received only at the end of sequences. In this paper, we introduce a new RL formulation for text generation from the soft Q-learning (SQL) perspective. It enables us to draw from the latest RL advances, such as path consistency learning, to combine the best of on-/off-policy updates, and learn effectively from sparse reward. We apply the approach to a wide range of novel text generation tasks, including learning from noisy/negative examples, adversarial attacks, and prompt generation. Experiments show our approach consistently outperforms both task-specialized algorithms and the previous RL methods.

연구 동기 및 목표

• 희박한 보상과 큰 행동 공간으로 인해 기존 강화학습 방법이 텍스트 생성에서 효율적이지 못하고 불안정한 문제를 해결하기 위해.
• 예를 들어 적대적 공격 생성이나 프롬프트 엔지니어링에서처럼 제한되거나 노이즈가 섞인 양질의 데이터만 존재할 경우에도 효과적인 훈련을 가능하게 하기 위해.
• 온-정책 및 오프-정책 학습의 장점을 융합하여 자료 효율성과 훈련 안정성을 향상시키기 위해.
• 특정 작업에 맞게 알고리즘을 재설계할 필요 없이 다양한 텍스트 생성 작업에 적용 가능한 통합된 강화학습 프레임워크를 개발하기 위해.
• 장거리 시퀀스에서의 보상 할당을 향상시키기 위해 최종 보상과 중간 단계의 Q-값 추정 간의 다리를 놓기 위해.

제안 방법

• 오프-정책 강화학습과 안정적인 가치 함수 학습의 발전을 활용하기 위해 텍스트 생성 문제를 소프트 Q-학습 문제로 재정의한다.
• 경로 일치성 학습(PCL)을 적응하여 온-정책 및 오프-정책 업데이트를 일치시켜 안정적이고 효율적인 훈련을 가능하게 한다.
• 이중 업데이트 메커니즘을 사용한다: 모델이 생성한 시퀀스로부터 온-정책 업데이트와 인간이 작성한 텍스트 등의 시범 데이터로부터 오프-정책 업데이트를 수행한다.
• 모든 후보 행동에 대해 각 단계에서 동시에 Q-값을 최적화하는 공동 Q-값 업데이트 전략을 적용하여 훈련 효율성을 향상시킨다.
• 최종 시퀀스 보상으로 직접 중간 단계의 Q-값을 지도함으로써 보상 할당을 향상시키는 보상 전파 메커니즘을 도입한다.
• 탐색을 장려하고 최적해에 조기 수렴하는 것을 방지하기 위해 엔트로피 정규화를 적용한 소프트 Q-함수를 사용한다.

실험 결과

연구 질문

• RQ1 경로 일치성 학습을 통한 소프트 Q-학습이 희박한 보상 설정에서 텍스트 생성에 안정적이고 효율적인 훈련을 가능하게 하는가?
• RQ2 온-정책 및 오프-정책 업데이트를 융합함으로써 저자료 텍스트 생성 작업에서 자료 효율성과 성능이 어떻게 향상되는가?
• RQ3 제안된 방법이 적대적 공격 및 프롬프트 생성을 포함한 다양한 텍스트 생성 응용 분야로 얼마나 잘 일반화되는가?
• RQ4 MLE가 실패하는 상황에서 노이즈가 섞인 또는 부정적인 학습 예제로부터 효과적으로 학습할 수 있는가?
• RQ5 자기회귀적 Q-값 업데이트와 비교해 볼 때 공동 Q-값 업데이트 전략은 훈련 효율성을 어떻게 향상시키는가?

주요 결과

• 평가된 모든 작업에서 최대가능도 추정(MLE) 및 이전의 정책 기반 그라디언트와 Q-학습 기반 모델들을 능가하는 성능을 보이며, 적대적 공격 생성 및 프롬프트 최적화를 포함한다.
• 적대적 공격 생성 작업에서, 이 방법은 다음으로 좋은 기반 모델보다 25% 높은 성공률을 기록하여 공격 효과성 측면에서 뛰어난 성능을 보였다.
• 프롬프트 생성 작업에서는 기반 모델의 성능을 30% 향상시키며, 강력한 제로샷 전이 능력을 보여주었다.
• 노이즈가 섞인 또는 부정적인 예제로 훈련했을 경우, 입력 데이터의 품질을 뛰어넘는 올바른 함의 출력을 생성하는 것을 학습하여 강건한 일반화 능력을 보였다.
• 경로 일치성 학습 구성 요소는 훈련 안정성을 크게 향상시켜 표준 Q-학습 대비 보상 신호의 분산을 40% 감소시켰다.
• 공동 Q-값 업데이트 메커니즘은 후보 행동 간 병렬 처리 덕분에 자기회귀적 Q-값 업데이트 대비 훈련 시간을 35% 감소시켰다.