[논문 리뷰] Playing 20 Question Game with Policy-Based Reinforcement Learning

Huang Hu, Xianchao Wu외 5명|arXiv (Cornell University)|2018. 08. 23.

Multimodal Machine Learning Applications참고 문헌 9인용 수 4

한 줄 요약

이 논문은 지식 기반 또는 수작업으로 설계된 히ュ리스틱에 의존하지 않고 최적의 질문 선택을 학습할 수 있도록 정책 기반 강화학습 프레임워크를 제안한다. 보상 네트워크를 사용해 정보성 있는 즉각적인 보상을 추정하고, 정책 네트워크를 통해 다양한, 강건한 질문을 샘플링함으로써, 노이즈가 많은 실세계 환경에서 엔트로피 기반 기준보다 뛰어난 성능을 보이며, 노이즈가 없는 시뮬레이션 환경에서도 경쟁 가능한 성능을 유지한다.

ABSTRACT

The 20 Questions (Q20) game is a well known game which encourages deductive reasoning and creativity. In the game, the answerer first thinks of an object such as a famous person or a kind of animal. Then the questioner tries to guess the object by asking 20 questions. In a Q20 game system, the user is considered as the answerer while the system itself acts as the questioner which requires a good strategy of question selection to figure out the correct object and win the game. However, the optimal policy of question selection is hard to be derived due to the complexity and volatility of the game environment. In this paper, we propose a novel policy-based Reinforcement Learning (RL) method, which enables the questioner agent to learn the optimal policy of question selection through continuous interactions with users. To facilitate training, we also propose to use a reward network to estimate the more informative reward. Compared to previous methods, our RL method is robust to noisy answers and does not rely on the Knowledge Base of objects. Experimental results show that our RL method clearly outperforms an entropy-based engineering system and has competitive performance in a noisy-free simulation environment.

연구 동기 및 목표

• 대상 물체에 대한 사전 지식 기반 없이 20문제 게임의 질문 선택 전략을 개발하기 위해.
• 실세계 상호작용에서 흔히 발생하는 노이즈가 있는 사용자 답변에 대한 강건성을 향상시키기 위해.
• 스토캐스틱 정책 샘플링을 통해 다양한 질문 전략을 탐색함으로써 일반화 능력을 향상시키고 局부 최적해를 피하기 위해.
• 최종 추측에서만 희박한 보상이 주어지는 장기 결정 문제에 대해 의미 있는 보상 신호를 설계하기 위해.
• 실사용자와의 상호작용을 통해 훈련 가능한 확장성 있고 종단 간 강화학습 프레임워크를 만들기 위해.

제안 방법

• 게임은 에이전트가 가능한 목표 물체에 대한 믿음 상태(신뢰도 벡터)를 유지하는 마르코프 결정 과정(MDP)으로 모델링된다.
• 정책 네트워크 πθ(a|s)는 현재의 믿음 상태에 기반해 질문 분포를 출력하며, 이는 탐욕적인 선택 대신 스토캐스틱한 질문 샘플링을 가능하게 한다.
• 각 시간 단계에서 비영인 정보성 보상을 추정하는 새로운 RewardNet을 도입하여 장기 수익에 대한 신뢰도 할당을 향상시킨다.
• 에이전트는 경험 재생을 사용해 이전의 트레이젝터리들(s, a, r, s')을 저장하고 샘플링하여 안정적인 훈련을 수행한다.
• RewardNet에서 추정한 수익을 기반으로 정책 기반 강화학습 방법을 사용해 질문 선택을 종단 간 최적화한다.
• 프레임워크는 실사용자와의 상호작용을 통해 훈련되며, 이로 인해 답변 노이즈에 강건하고 다양한 물체 분포에 적응 가능해진다.

실험 결과

연구 질문

• RQ1 지식 기반이 없는 환경에서 정책 기반 강화학습 에이전트가 20문제 게임에서 효과적인 질문 선택 전략을 학습할 수 있는가?
• RQ2 최종 승리/패배 피드백만 제공되는 상황에서 훈련 효율성을 향상시키기 위해 의미 있는 중간 보상을 어떻게 설계할 수 있는가?
• RQ3 실사용자가 제공하는 노이즈가 있거나 잘못된 답변에 대해 강화학습 에이전트가 얼마나 잘 일반화되고 강건한가?
• RQ4 정책 네트워크를 통한 스토캐스틱 질문 샘플링이 탐욕적인 규칙 기반 방법에 비해 다양성과 일반화 능력을 향상시키는가?
• RQ5 노이즈가 있는 환경과 노이즈가 없는 환경 모두에서 강화학습 에이전트의 성능은 고도로 최적화된 기준 대비 어떻게 되는가?

주요 결과

• 제안된 강화학습 방법은 노이즈가 많은 실세계 인간 평가에서 엔트로피 기반 엔지니어링 시스템보다 뚜렷이 뛰어난 성능을 보였다.
• 노이즈가 없는 시뮬레이션 환경에서는 엔트로피 기반 기준과 비교해 경쟁 가능한 승률을 달성하여 강력한 일반화 능력을 입증했다.
• 희귀 물체와 빈번한 물체 모두에서 높은 성능를 유지함으로써 데이터 희소성과 물체 인기 편향에 대한 강건성을 보였다.
• RewardNet의 사용은 더 정보성 있는 훈련 신호를 제공하여 희박한 최종 보상에도 불구하고 더 빠른 수렴과 더 나은 정책 학습을 가능하게 했다.
• 스토캐스틱 샘플링을 통한 정책 기반 접근은 더 다양한 자연스러운 질문을 생성하여 사용자 경험을 향상시켰다.
• 균일한 분포와 인기 기반 분포를 모두 사용한 다양한 물체 세트에서도 일관된 성능을 보여, 이 방법이 다양한 물체 집합에 잘 일반화됨을 입증했다.