[논문 리뷰] Connecting the Dots Between MLE and RL for Sequence Prediction

Bowen Tan, Zhiting Hu외 3명|arXiv (Cornell University)|2018. 11. 24.

Topic Modeling참고 문헌 55인용 수 13

한 줄 요약

이 논문은 구성 가능한 보상 함수와 하이퍼파라미터를 통해 최대우도추정(MLE), 강화학습(RL), 그리고 RAML, SPG, 데이터 노이즈링과 같은 하이브리드 방법을 특수 케이스로 포함하는 통합 프레임워크—엔트로피 정규화 정책 최적화(ERPO)—를 제안한다. 이 프레임워크는 MLE에서 RL 행동으로의 동적 보간 알고리즘을 가능하게 하여 기계 번역, 텍스트 요약, 게임 모방 학습에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sequence prediction models can be learned from example sequences with a variety of training algorithms. Maximum likelihood learning is simple and efficient, yet can suffer from compounding error at test time. Reinforcement learning such as policy gradient addresses the issue but can have prohibitively poor exploration efficiency. A rich set of other algorithms such as RAML, SPG, and data noising, have also been developed from different perspectives. This paper establishes a formal connection between these algorithms. We present a generalized entropy regularized policy optimization formulation, and show that the apparently distinct algorithms can all be reformulated as special instances of the framework, with the only difference being the configurations of a reward function and a couple of hyperparameters. The unified interpretation offers a systematic view of the varying properties of exploration and learning efficiency. Besides, inspired from the framework, we present a new algorithm that dynamically interpolates among the family of algorithms for scheduled sequence model learning. Experiments on machine translation, text summarization, and game imitation learning demonstrate the superiority of the proposed algorithm.

연구 동기 및 목표

• MLE, RL, 하이브리드 접근법을 포함한 다양한 순서 예측 학습 방법을 통합하는 공식적이고 통합적인 수학적 프레임워크를 수립하기.
• 기존 알고리즘들 간의 탐색 및 학습 효율성 간 상충 관계를 일반화된 최적화 공식의 특수 케이스로 해석함으로써 체계적으로 분석하기.
• 기존 방법들의 행동에 대한 새로운 통찰을 도출하기 위해 그들의 기반이 되는 보상 함수와 하이퍼파라미터 설정을 드러내기.
• 학습 중에 MLE 모드에서 RL 모드로 동적으로 전환하는 새로운 보간 알고리즘을 개발하여 일반화 및 성능 향상 달성하기.
• 기계 번역, 텍스트 요약, 게임 모방 학습을 포함한 여러 순서 생성 작업에서 제안된 프레임워크와 알고리즘을 경험적으로 검증하기.

제안 방법

• 구성 가능한 보상 함수와 하이퍼파라미터를 통해 MLE, RAML, SPG, 데이터 노이즈링을 특수 케이스로 포함하는 일반화된 엔트로피 정규화 정책 최적화(ERPO) 프레임워크를 제안한다.
• 정확한 훈련 시퀀스 일치에만 보상을 주는 델타 함수 보상으로 MLE를 재구성함으로써, 그 탐색 부족의 이유를 설명한다.
• RAML 및 SPG와 같은 다른 방법들이 국소적으로 인지하는 보다 유연한 보상 함수를 사용하여 더 넓은 탐색을 장려하면서도 훈련 안정성을 유지함을 보여준다.
• 학습 중에 보상 함수와 하이퍼파라미터를 MLE 유사에서 RL 유사 행동으로 점진적으로 변화시켜 탐색을 증가시키는 동적 보간 알고리즘을 도입한다.
• 모델이 훈련 데이터에 대해 높은 신뢰도로 시작하여 점차 훈련 분포를 초월한 탐색을 통해 일반화 능력을 향상시키는 스케줄링 학습 전략을 적용한다.
• 표준 아키텍처(예: Transformer, LSTM)를 사용하는 순서 모델에 프레임워크를 적용하고, 표준 평가 지표(BLEU, ROUGE, RL 작업에서의 수익)를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 MLE, RAML, SPG, 데이터 노이즈링과 같은 서로 다른 순서 예측 학습 방법들이 어떻게 하나의 최적화 프레임워크 아래에서 공식적으로 통합될 수 있는가?
• RQ2 이들 방법들 간의 탐색 행동과 학습 효율성의 근본적 차이는 무엇이며, 이는 보상 함수 설계와 하이퍼파라미터와 어떻게 관련되는가?
• RQ3 통합 프레임워크가 학습 중에 탐색과 이용의 균형을 동적으로 유지하는 새로운 학습 전략을 도출할 수 있는가?
• RQ4 MLE와 RL 모드 간의 스케줄링 보간 전략이 하류 순서 생성 작업에서 일반화 및 성능 향상에 기여하는가?
• RQ5 다양한 순서 모델링 벤치마크에서 제안된 보간 알고리즘은 기존 방법들과 비교해 샘플 효율성과 성능 측면에서 어떻게 다른가?

주요 결과

• 제안된 ERPO 프레임워크는 MLE, RAML, SPG, 데이터 노이즈링을 보상 함수와 하이퍼파라미터 설정의 차이만으로 특수 케이스로 통합한다.
• MLE는 정확한 일치에만 보상을 주는 델타 함수 보상과 수학적으로 동일하며, 이는 MLE의 취약한 행동과 일반화 부족을 설명한다.
• IWSLT2014 독일어-영어 번역 작업에서 보간 알고리즘이 MLE보다 BLEU 점수 1.36 포인트 향상시켰으며, RAML, Self-critic, Scheduled Sampling를 모두 능가한다.
• 텍스트 요약 작업에서는 모든 세 가지 ROUGE 지표(-1, -2, -L)에서 최고 성능을 기록했으며, 이는 RAML가 이 설정에서 성능이 떨어지는 것과 대비된다.
• 제한된 전문가 시범 데이터(1 또는 4개)를 가진 게임 모방 학습에서 보간 알고리즘이 기존의 GAIL보다 뚜렷이 뛰어나며, 특히 저자료 환경에서 두각을 나타낸다.
• 프레임워크는 탐색 및 학습 효율성 간 상충 관계를 체계적으로 이해할 수 있게 하며, MLE는 매우 효율적이지만 취약하고, RL은 더 탐색적이지만 샘플 비효율적임을 드러낸다.