[논문 리뷰] End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient

Li Zhou, Kevin Small외 2명|arXiv (Cornell University)|2017. 12. 07.

Topic Modeling참고 문헌 15인용 수 31

한 줄 요약

이 논문은 인간의 상호작용 없이 비정답 처리된 고객-에이전트 대화 기록(TACTs)을 활용하여, 정책 기울기(policy gradients)를 사용한 종단 간 오프라인 강화학습 방법을 제안한다. 통합된 온정책 및 오프정책 정책 기울기와 함께, 발화 수준 및 대화 수준의 목표를 동시에 최적화하는 새로운 보상 함수를 도입함으로써, bAbI Task 6에서 최신 기술(SOTA) 성능을 달성하였다. 이는 이전 방법 대비 BLEU 점수 1.55%p 향상 및 API 호출 정확도 정확매칭(Exact Match) 14.37%p 향상으로 나타났다.

ABSTRACT

Learning a goal-oriented dialog policy is generally performed offline with supervised learning algorithms or online with reinforcement learning (RL). Additionally, as companies accumulate massive quantities of dialog transcripts between customers and trained human agents, encoder-decoder methods have gained popularity as agent utterances can be directly treated as supervision without the need for utterance-level annotations. However, one potential drawback of such approaches is that they myopically generate the next agent utterance without regard for dialog-level considerations. To resolve this concern, this paper describes an offline RL method for learning from unannotated corpora that can optimize a goal-oriented policy at both the utterance and dialog level. We introduce a novel reward function and use both on-policy and off-policy policy gradient to learn a policy offline without requiring online user interaction or an explicit state space definition.

연구 동기 및 목표

• 다음 발화의 가능성만 최적화하는 지도 학습 기반의 순차-순차 모델의 한계를 해결하기 위해, 대화 수준의 목표를 고려하지 않는 문제를 해결한다.
• 사용자 온라인 상호작용이나 사전 정의된 행동/상태 공간이 필요 없이, 비정답 처리된 고객-에이전트 대화 기록(TACTs)에서 종단 간 오프라인 정책 학습을 가능하게 한다.
• 온정책 및 오프정책 정책 기울기 방법을 융합하여 샘플 효율성과 정책 최적화를 향상시킨다.
• 발화 수준의 자연스러움과 대화 수준의 목표 달성(특히 API 호출 정확도)을 동시에 최적화하는 보상 함수를 설계한다.
• 스lot 또는 대화 액션에 대한 도메인 특화 주석이 필요 없이도, 인코더-디코더 아키텍처를 사용하여 다양한 도메인으로의 일반화를 가능하게 한다.

제안 방법

• 모델링은 각 에피소드가 단일 에이전트 발화에 해당하는 마르코프 결정 과정(MDP)으로 설정되며, 알려진 전이 및 보상이 존재하므로 오프라인 학습이 가능하다.
• 새로운 보상 함수는 발화 수준 및 대화 수준 신호를 통합하며, 예측된 응답의 정확도, BLEU 점수, API 호출 예측의 정밀도/재현율/F1 점수를 포함한다.
• 정책은 인코더-디코더 아키텍처를 갖춘 순차-순차 신경망으로 파arameter화되어, 수동으로 슬롯 또는 대화 액션 주석이 필요 없이 종단 간 학습이 가능하다.
• 안정적인 학습을 위해 온정책 정책 기울기를 사용하고, 수렴 속도 향상과 샘플 효율성 향상을 위해 오프정책 정책 기울기를 통합한다.
• 중요도 샘플링은 고정 계수를 사용하여 궤적을 가중치 적용하고, 최종 정책는 Adam 최적화기와 학습률 1e-3를 사용하여 학습한다.
• 모델은 주석 없이 bAbI Task 6 원본 데이터에서 학습되었으며, 지도 학습으로는 진짜 에이전트 응답만을 사용한다.

실험 결과

연구 질문

• RQ1 비정답 코퍼스에서 인간의 상호작용 없이 종단 간 오프라인 강화학습 접근법이 목표 지향 대화 정책을 효과적으로 학습할 수 있는가?
• RQ2 발화 수준의 자연스러움과 대화 수준의 목표 달성(특히 API 호출 정확도)을 동시에 최적화할 수 있는 보상 함수는 어떻게 설계할 수 있는가?
• RQ3 오프정책 정책 기울기 방법은 온정책 학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 응답 생성 및 API 호출 예측 모두에서 지도 학습 기반 순차-순차 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 스lot 또는 대화 액션에 대한 도메인 특화 주석이 없이도 모델이 다양한 도메인으로 일반화할 수 있는가?

주요 결과

• 제안된 방법은 bAbI Task 6에서 48.69%의 발화별 정확도를 달성하여, 베이스라인 어텐션 기반 Seq2Seq 모델(47.29%)과 Eric 및 Manning의 모델(48.00%)을 모두 초월했다.
• 모델은 BLEU 점수를 58.25로 향상시켜, 베이스라인 Seq2Seq 모델 대비 1.55%p 향상되었고, Eric 및 Manning의 모델 대비 4.02%p 향상되었다.
• API 호출 예측의 F1 점수는 76.95로, 베이스라인 대비 1.93%p 향상되어 대화 목표 달성과의 보다 우수한 일치를 나타냈다.
• API 호출 정확매칭 정확도는 49.16%에 도달하여, 베이스라인 Seq2Seq 모델 대비 14.37%p 향상되었으며, 이는 더 나은 매개변수 예측과 목표 준수 능력을 보여주었다.
• 사용자 시뮬레이션, 인간의 상호작용 또는 사전 정의된 행동/상태 공간이 필요 없이도, 원본 비정답 TACT 데이터에서 성공적으로 학습하였다.