[논문 리뷰] Learning to Generalize from Sparse and Underspecified Rewards

Rishabh Agarwal, Liang Chen외 2명|arXiv (Cornell University)|2019. 02. 19.

Topic Modeling참고 문헌 70인용 수 46

한 줄 요약

이 논문은 Meta Reward Learning (MeRL)과 MAPOX를 도입하여 보상이 부족하게 정의되거나 희박한 상황에서 학습할 때 일반화를 개선하고, 약하게 지도된 의미 파싱과 지시 수행 과제에서 검증된다.

ABSTRACT

We consider the problem of learning from sparse and underspecified rewards, where an agent receives a complex input, such as a natural language instruction, and needs to generate a complex response, such as an action sequence, while only receiving binary success-failure feedback. Such success-failure rewards are often underspecified: they do not distinguish between purposeful and accidental success. Generalization from underspecified rewards hinges on discounting spurious trajectories that attain accidental success, while learning from sparse feedback requires effective exploration. We address exploration by using a mode covering direction of KL divergence to collect a diverse set of successful trajectories, followed by a mode seeking KL divergence to train a robust policy. We propose Meta Reward Learning (MeRL) to construct an auxiliary reward function that provides more refined feedback for learning. The parameters of the auxiliary reward function are optimized with respect to the validation performance of a trained policy. The MeRL approach outperforms our alternative reward learning technique based on Bayesian Optimization, and achieves the state-of-the-art on weakly-supervised semantic parsing. It improves previous work by 1.2% and 2.4% on WikiTableQuestions and WikiSQL datasets respectively.

연구 동기 및 목표

• 언어 조건부 작업에서 희소하고 불완전하게 정의된 성공/실패 보상으로부터의 학습을 다룬다.
• mode covering과 mode seeking KL 방향을 이용하여 탐색과 강건한 정책 최적화를 분리한다.
• 검증 성능으로 파라미터를 최적화하는 보조 보상 함수(MeRL)를 학습한다.
• MeRL과 베이지안 최적화 기반 보상 학습(BoRL) 및 베이스라인 방법과의 비교를 수행한다.
• WikiTableQuestions, WikiSQL, 그리고 지시 수행 미로 과제에서 일반화 향상을 입증한다.

제안 방법

• 다양한 성공 궤적을 수집하기 위해 mode covering 탐색(MAPOX)을 사용한다.
• 발견된 궤적에 대한 mode seeking KL 발산을 포함하는 강건한 목표를 가진 정책을 학습한다.
• 궤적 특징과 불완전하게 정의된 보상 R(a|x,y)을 기반으로 한 매개변수 보조 보상 R_phi를 정의한다.
• 메타 학습(MeRL)을 통해 정책 업데이트를 미분하여 검증 성능을 최대화함으로써 phi를 최적화한다.
• 대안으로, 비분화 가능 검증 메트릭스를 최대화하기 위해 베이지안 최적화(BoRL)로 phi를 최적화한다.
• 희소 보상에 대한 기억 버퍼와 그래디언트 추정치를 다루기 위해 MAPO 기반 추정기를 활용한다.

실험 결과

연구 질문

• RQ1 보조 보상 학습이 보상이 불완전하게 정의된 경우 일반화를 어떻게 향상시킬 수 있는가?
• RQ2 mode covering 탐색 전략과 강건한 정책 최적화를 결합한 방법이 약하게 지도된 과제에서 mode seeking 방법보다 우수한가?
• RQ3 그래디언트 기반(MeRL)과 비그래디언트(BoRL) 보상 학습 접근 방식이 희소 보상 상황에서 검증 성능을 향상시킬 수 있는가?
• RQ4 학습된 보조 보상이 의미 파싱 벤치마크의 일반화에 어떤 영향을 미치는가?
• RQ5 지시 이행 및 의미 파싱 과제에서 탐색 중심 방법이 오라클(전적으로 지도되는) 성능에 얼마나 가까워질 수 있는가?

주요 결과

보상 구조	Dev	Test
Underspecified	73.0 (±3.4)	69.8 (±2.5)
Underspecified + Auxiliary (BoRL)	75.3 (±1.6)	72.3 (±2.2)
Underspecified + Auxiliary (MeRL)	83.0 (±3.6)	74.5 (±2.5)
Oracle Reward	95.7 (±1.3)	92.6 (±1.0)

• MeRL과 BoRL은 기저의 불충분하게 정의된 보상보다 일반화를 향상시킨다.
• MAPOX 탐색은 MAPO 단독보다 더 다양한 성공 궤적을 발견한다.
• 지시 이행 과제에서 MeRL은 오라클 보상에 대한 차이를 크게 줄인다(Dev 83.0 vs 95.7; Test 74.5 vs 92.6).
• MeRL/BoRL로 학습된 보조 보상은 불완전하게 정의된 보상만으로 얻어진 성과보다 검증 기반 성능이 더 높게 나타난다.
• MeRL을 포함한 MAPOX는 약하게 지도된 의미 파싱 벤치마크(WikiTableQuestions, WikiSQL)에서 최첨단 결과를 달성한다.