[논문 리뷰] End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning

J. D. Williams, Geoffrey Zweig|arXiv (Cornell University)|2016. 06. 03.

Speech and dialogue systems참고 문헌 25인용 수 122

한 줄 요약

도메인 특화 소프트웨어로 보강된 도메인 규칙과 API를 처리하기 위한 원시 대화 이력을 액션 분포로 매핑하는 LSTM 기반의 엔드투엔드 대화 컨트롤러로, 감독 학습으로 훈련되고 정책 기울기로 강화되며 사용됩니다.

ABSTRACT

This paper presents a model for end-to-end learning of task-oriented dialog systems. The main component of the model is a recurrent neural network (an LSTM), which maps from raw dialog history directly to a distribution over system actions. The LSTM automatically infers a representation of dialog history, which relieves the system developer of much of the manual feature engineering of dialog state. In addition, the developer can provide software that expresses business rules and provides access to programmatic APIs, enabling the LSTM to take actions in the real world on behalf of the user. The LSTM can be optimized using supervised learning (SL), where a domain expert provides example dialogs which the LSTM should imitate; or using reinforcement learning (RL), where the system improves by interacting directly with end users. Experiments show that SL and RL are complementary: SL alone can derive a reasonable initial policy from a small number of training dialogs; and starting RL optimization with a policy trained with SL substantially accelerates the learning rate of RL.

연구 동기 및 목표

• LSTM이 이력 표현을 추론하도록 하여 수작업으로 설계된 대화 상태를 줄이는 것을 목표로 한다.
• 실세계 행동을 위한 비즈니스 규칙과 API를 인코딩하는 도메인 특화 소프트웨어와 순환 신경망을 통합한다.
• 감독 학습과 강화 학습 모두를 사용한 대화 제어의 엔드투엔드 학습을 시연한다.
• SL이 강력한 초기 정책을 제공하고 이후 RL 최적화를 가속화함을 보여준다.
• 실시간 대화 중에 정책을 적응시키기 위한 온라인 재학습을 가능하게 한다.

제안 방법

• 세 구성요소 모델: LSTM, 동작 게이팅 및 API 접근을 포함한 도메인 특화 소프트웨어, 그리고 언어 이해 모듈.
• LSTM은 엔티티 인식으로부터의 피처 벡터와 개발자가 제공한 피처를 입력으로 받아 액션 템플릿의 분포를 출력한다.
• 개발자 코드가 제공하는 액션 마스크가 사용 가능한 액션을 게이트하고, LSTM은 이를 사용해 확률을 재정규화한다.
• RL 중에는 샘플링으로 액션을 선택하고, 그렇지 않으면 최대 확률 액션을 선택하며, 이력은 LSTM으로 피드백된다.
• RL은 분산을 줄이기 위해 베이스라인을 가진 정책 기울기 업데이트를 사용하고, 마스크가 액션을 잘라내는 경우 확률에 작은 상수를 더한다.
• 감독 학습은 주어진 예제 대화를 모방하도록 모델을 학습시키고; RL은 정책을 미세조정하되 학습 대화를 여전히 재구성하도록 한다.

실험 결과

연구 질문

• RQ1 원시 대화 이력을 hand-crafted 상태 표현 없이 액션으로 매핑하여 엔드투엔드 LSTM이 대화 제어를 얼마나 효과적으로 학습할 수 있는가?
• RQ2 감독 학습과 강화 학습을 결합하는 것이 단독으로의 사용보다 데이터 효율성과 정책 성능이 더 나은가?
• RQ3 액션 마스킹과 도메인 특화 API가 학습된 정책 및 실제 세계 행동 수행 능력에 미치는 영향은?
• RQ4 모델을 실시간으로 온라인에서 학습 및 업데이트할 수 있어 감독에 대한 충실도를 희생하지 않는가?
• RQ5 대화를 유지하기 위한 순환 구조가 비순환 아키텍처에 비해 어떤 차이가 있는가?
• RQ6 null

주요 결과

• LSTM은 최소한의 수작업으로 설계된 상태 표현으로 대화 이력에서 액션 템플릿으로 매핑하는 것을 학습할 수 있다.
• 하나의 대화 후 대화 턴의 70%가 정확히 예측되고; 20개의 대화 후에는 턴당 정확도가 90%를 넘으며, 대화의 거의 50%가 완전히 정확하게 예측된다.
• 비순환 DNN은 20개의 대화를 학습했을 때 학습 세트를 재구성하지 못했지만, RNN은 재구성할 수 있어 이력에 대한 기억의 중요성을 보여준다.
• 강화 학습 전에 소량의 감독 학습을 추가하면 RL 학습이 크게 빨라지고 정책 분산이 감소한다.
• SL로 학습된 정책은 RL로 더 향상되지만, RL만으로는 완전한 정책을 발견하기 어려울 수 있다; 사전 SL 사전학습은 신뢰성과 성능을 향상시킨다.
• 표준 CPU에서 LSTM 재학습은 1초도 걸리지 않아 온라인 수정 및 능동 학습이 가능하며, ROC 분석은 낮은 점수를 가진 액션이 잘못될 가능성이 더 크다는 것을 보여주어 효율적 라벨링을 안내한다.
• 사전 학습을 통한 Active RL은 실행 간 변동성을 줄이고 정책 기울기로 최적화할 때 수렴 속도를 높인다.