[논문 리뷰] Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders

Yansen Wang, Chenyi Liu외 2명|arXiv (Cornell University)|2018. 05. 13.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

이 논문은 개방형 대화 시스템에서 다양하고 주제 관련 질문을 생성하기 위해 세 가지 어휘 유형인 의문사, 주제어, 일반어를 모델링하는 타입화된 디코더—소프트 타입 디코더(STD)와 하드 타입 디코더(HTD)—를 제안한다. 이 방법은 질문 패턴과 주제 전환을 명시적으로 제어함으로써 질문 품질을 향상시키며, 더 의미 있고 상호작용적인 질문을 생성함으로써 최신 기준(SOTA) 기준선을 능가한다.

ABSTRACT

Asking good questions in large-scale, open-domain conversational systems is quite significant yet rather untouched. This task, substantially different from traditional question generation, requires to question not only with various patterns but also on diverse and relevant topics. We observe that a good question is a natural composition of {\it interrogatives}, {\it topic words}, and {\it ordinary words}. Interrogatives lexicalize the pattern of questioning, topic words address the key information for topic transition in dialogue, and ordinary words play syntactical and grammatical roles in making a natural sentence. We devise two typed decoders ( extit{soft typed decoder} and extit{hard typed decoder}) in which a type distribution over the three types is estimated and used to modulate the final generation distribution. Extensive experiments show that the typed decoders outperform state-of-the-art baselines and can generate more meaningful questions.

연구 동기 및 목표

• 기존 방법이 답변 중심 작업에 집중하는 데 반해, 능동적이고 주제가 다양한 질문을 생성하는 데 초점을 맞추지 못한 개방형 대화 시스템의 질문 생성 격차를 보완하기 위해.
• 좋은 질문의 조합적 성질을 의문사(질문 패턴), 주제어(주제 전환용), 일반어(문법적 구조용)의 조합으로 모델링하기 위해.
• 생성 과정에서 어휘 유형 분포를 명시적으로 제어함으로써 질문의 다양성과 관련성을 향상시키기 위한 디코더를 개발하기 위해.
• 새로운 그러나 관련성이 있는 주제를 도입함으로써 대화 시스템이 더 깊고 지속적인 상호작용을 유도할 수 있도록 질문을 생성하기 위해.

제안 방법

• 사전에 트레이닝된 주제어 탐지 방법을 기반으로 한 PMI를 사용하여 단어를 세 가지 유형으로 분류한다: 의문사(예: 누가, 무엇), 주제어(예: 토끼, 저녁 식사), 일반어(예: 당신, 좋아하다).
• 소프트 타입 디코더(STD)는 유형 분포를 추정하고, 이를 유형별 생성 헤드의 가중 혼합으로 사용하여 최종 단어 분포를 생성한다.
• 하드 타입 디코더(HTD)는 각 디코딩 단계에서 Gumbel-softmax를 사용해 이산적인 어휘 유형을 샘플링하고, 이를 바탕으로 생성 분포를 조절한다.
• 유형 분포는 별도의 유형 예측 헤드를 통해 추정되며, 교차 엔트로피 손실을 사용해 엔드 투 엔드 학습이 가능하다.
• 프레임워크는 대화형 질문 생성 데이터셋에서 학습되며, 유형 인식 어텐션과 생성을 통해 디코딩이 이뤄진다.
• 두 디코더 모두 BLEU, ROUGE, 질문 품질 및 주제 관련성에 대한 인간 평가를 포함한 자동 평가 및 인간 평가 지표를 바탕으로 최신 기준 기준선과 평가된다.

실험 결과

연구 질문

• RQ1 신경망 기반 질문 생성 모델은 어떻게 개방형 대화 시스템에서 입력을 재진술하는 것 외에도 다양하고 주제 관련 질문을 생성하도록 개선될 수 있는가?
• RQ2 의문사, 주제어, 일반어와 같은 어휘 유형을 모델링하면 생성된 질문의 다양성과 관련성은 어느 정도 향상될 수 있는가?
• RQ3 디코딩 중 어휘 유형 분포에 대한 명시적 제어는 질문 품질 향상과 더 효과적인 대화 지속성에 기여하는가?
• RQ4 소프트 모델링 전략과 하드 모델링 전략은 생성 품질과 내구성 측면에서 어떻게 비교될 수 있는가?

주요 결과

• 제안된 타입화된 디코더, 특히 HTD는 BLEU와 ROUGE와 같은 자동 평가 지표에서 최신 기준 기준선을 능가하며, 유창성과 관련성 향상을 나타낸다.
• 인간 평가 결과, HTD가 생성한 질문은 더 의미 있고 상호작용적이며, 주제 관련성과 더 나은 질문 패턴을 보였다.
• 오류 분석 결과, 주요 실패 원인은 주제어 누락(_STD: 34%, _HTD: 29%)과 잘못된 주제 선택(_STD: 34%, _HTD: 39%)이었으며, 주제어 예측에 어려움이 있음을 시사한다.
• 시각화 결과, 모델이 위치에 맞는 유형을 효과적으로 할당하는 것을 확인할 수 있었다—예를 들어 일반어는 시작부분, 주제어는 중간부분, 의문사는 끝부분에 배치됨—이를 통해 효과적인 유형 제어가 이루어졌음을 입증한다.
• 이 방법은 단순한 재진술 외에도 새로운 맥락 기반 주제를 도입하는 질문을 성공적으로 생성하여 대화의 지속성을 향상시켰다.
• 타입화된 디코더 프레임워크는 일반화 가능하며, 감정 텍스트 생성과 같이 어휘 의미 유형을 식별할 수 있는 다른 생성 작업에도 적용 가능하다.