[논문 리뷰] Hierarchical Recurrent Attention Network for Response Generation

Xing Chen, Wei Wu외 4명|arXiv (Cornell University)|2017. 01. 25.

Topic Modeling인용 수 116

한 줄 요약

HRAN은 다중 회차 응답 생성을 위해 단어 수준과 발화 수준의 계층적 주의(attention)를 도입하여 perplexity와 인간 평가에서 S2SA, HRED, VHRED보다 우수합니다.

ABSTRACT

We study multi-turn response generation in chatbots where a response is generated according to a conversation context. Existing work has modeled the hierarchy of the context, but does not pay enough attention to the fact that words and utterances in the context are differentially important. As a result, they may lose important information in context and generate irrelevant responses. We propose a hierarchical recurrent attention network (HRAN) to model both aspects in a unified framework. In HRAN, a hierarchical attention mechanism attends to important parts within and among utterances with word level attention and utterance level attention respectively. With the word level attention, hidden vectors of a word level encoder are synthesized as utterance vectors and fed to an utterance level encoder to construct hidden representations of the context. The hidden vectors of the context are then processed by the utterance level attention and formed as context vectors for decoding the response. Empirical studies on both automatic evaluation and human judgment show that HRAN can significantly outperform state-of-the-art models for multi-turn response generation.

연구 동기 및 목표

• 대화 맥락을 활용한 오픈 도메인 다중 턴 응답 생성을 다룬다.
• 맥락의 계층 구조(발화 내 단어 → 발화 시퀀스 내 단어)와 맥락 요소의 차별적 중요성을 모델링한다.
• 생성 중에 중요한 단어와 발화를 선택하기 위해 계층적 주의를 활용하여 응답의 관련성 및 응집성을 향상시킨다.
• 자동 지표와 인간 평가를 통해 최첨단 baselines 대비 실증적 향상을 입증한다.

제안 방법

• 각 발화를 양방향 GRU로 인코딩하여 말 단어 수준의 은닉 벡터를 생성한다.
• 디코더 상태와 발화 맥락에 의존하는 단어-수준 주의를 계산하여 발화 벡터를 형성한다.
• 발화 벡터 시퀀스를 발화-수준 BRU로 인코딩하여 맥락 표현을 생성한다.
• 각 디코딩 단계마다 맥락 벡터로 요약하기 위해 발화-수준 주의를 적용한다.
• 맥락 벡터에 조건부로 GRU 기반 언어 모델로 응답을 디코딩하고 생성에 빔 탐색을 사용한다.
• 실제 응답의 로그 우도(log-likelihood)를 최대화하여 학습한다.

실험 결과

연구 질문

• RQ1 계층적 단어-발화 수준 주의가 다중 턴 응답 생성에서 관련성과 응집성을 향상시킬 수 있는가?
• RQ2 맥락 계층 구조와 부문(부분) 중요성의 동시 모델링이 기존 계층 모델(HRED, VHRED) 및 비계층 기반 대비 측정 가능한 향상을 가져오는가?
• RQ3 HRAN은 자동 perplexity 지표와 인간 평가에서 최첨단 방법과 비교해 어떤 성능을 보이는가?
• RQ4 Attention 시각화가 생성에 영향을 미치는 단어와 발화에 대한 어떤 통찰을 제공하는가?

주요 결과

• HRAN은 검증 세트와 테스트 세트 모두에서 S2SA, HRED, VHRED보다 낮은 perplexity를 달성한다.
• Validation perplexity: S2SA 43.679, HRED 46.279, VHRED 44.548, HRAN 40.257.
• Test perplexity: S2SA 44.508, HRED 47.467, VHRED 45.484, HRAN 41.138.
• HRAN은 다수의 비교에서 인간 평가에서도 baselines를 앞섬.
• 제거 연구에서 단어-수준 주의와 발화-수준 주의 각각이 성능 향상에 기여하는 것으로 나타났으며 구성 요소를 제거하면 결과가 저하된다.
• 주목 시각화는 HRAN이 맥락에서 정보량이 풍부한 단어(예: “girl”, “boyfriend”, 키 수치) 및 핵심 발화에 집중하는 모습을 보여준다.