[논문 리뷰] Interconnected Question Generation with Coreference Alignment and Conversation Flow Modeling

Yifan Gao, Piji Li외 2명|arXiv (Cornell University)|2019. 06. 17.

Topic Modeling참고 문헌 27인용 수 10

한 줄 요약

이 논문은 핵심어 일치 및 대화 흐름 모델링을 통합하여 상호 연결되고 맥락적으로 일관된 질문을 생성하는 엔드 투 엔드 신경망 모델을 제안한다. 이 모델은 자동 평가 및 인간 평가에서 베이스라인을 능가하며, 명시적인 핵심어 추적과 문단 조각 간의 동적 초점 이동을 통해 질문의 상호 연결성을 크게 향상시킨다.

ABSTRACT

We study the problem of generating interconnected questions in question-answering style conversations. Compared with previous works which generate questions based on a single sentence (or paragraph), this setting is different in two major aspects: (1) Questions are highly conversational. Almost half of them refer back to conversation history using coreferences. (2) In a coherent conversation, questions have smooth transitions between turns. We propose an end-to-end neural model with coreference alignment and conversation flow modeling. The coreference alignment modeling explicitly aligns coreferent mentions in conversation history with corresponding pronominal references in generated questions, which makes generated questions interconnected to conversation history. The conversation flow modeling builds a coherent conversation by starting questioning on the first few sentences in a text passage and smoothly shifting the focus to later parts. Extensive experiments show that our system outperforms several baselines and can generate highly conversational questions. The code implementation is released at https://github.com/Evan-Gao/conversational-QG.

연구 동기 및 목표

• 이전 대화 기록에 의존하는 대화형 다중 전환 QA 환경에서의 질문 생성 갭을 해소하기 위해.
• 질문과 대화 기록 간의 핵심어 의존 관계를 모델링하여 질문에서 대명사 및 생략을 가능하게 하기 위해.
• 전체 문단의 초기 부분에서 후반 부분으로의 초점 이동을 동적으로 제어함으로써 자연스러운 대화 흐름을 보장하기 위해.
• 문법성, 답변 가능성, 상호 연결성 등 세 가지 요소를 동시에 최적화하는 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• 핵심어 일치는 생성된 질문의 대명사가 대화 기록의 전행어에 대응되도록 하는 포인터 네트워크를 통해 모델링된다.
• 대화 흐름은 디코더가 초기 문단 조각부터 시작하여 점차 후행 조각으로 초점을 이동시키는 순차적이고 주의 가중치를 적용한 방식으로 모델링된다.
• 모델은 문단을 표현하기 위해 계층적 인코더를 사용하고, 대화 기록과 현재 전환 컨텍스트를 인코딩하기 위해 듀얼 인코더 메커니즘을 사용한다.
• 질문 생성, 핵심어 예측, 문단 조각 주의 가중치 일치를 동시에 최적화하는 다중 작업 학습 목표를 적용한다.
• 사실 정확성을 유지하고 OOV(Out-of-Vocabulary) 문제를 줄이기 위해 복사 메커니즘을 통합한 포인터-생성기 네트워크를 활용한다.
• 모델은 CoQA 데이터셋에서 교차 엔트로피 손실을 통한 생성과 핵심어 일치를 위한 콘트라스트 손실을 조합하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 신경망 모델은 어떻게 이전 대화 전환에 맥락적으로 연결된 문법적으로 올바른 질문을 생성할 수 있는가?
• RQ2 핵심어 일치는 대화형 질문 시퀀스의 일관성과 자연스러움을 어느 정도 향상시킬 수 있는가?
• RQ3 문단의 서사 진행을 모델링하면 대화의 전환 간 초점 이동이 얼마나 자연스럽게 이루어지는가?
• RQ4 대화 흐름 모델링 통합이 단일 전환 베이스라인 대비 다중 전환 질문 생성 품질에 어떤 영향을 미치는가?
• RQ5 핵심어 일치와 흐름 모델링 중 어느 것이 인간 평가 기반 상호 연결성 향상에 더 큰 기여를 하는가?

주요 결과

• 제안된 CFNet 모델은 상호 연결성에 대해 인간 평가에서 최고 점수(3점 만점에 2.67점)를 기록했으며, PGNet(1.59점)과 MSNet(1.74점)을 유의미하게 뛰어넘었고, p값 < 0.01이었다.
• CFNet는 문법성(3점 만점에 2.89점)과 답변 가능성(2.74점)에서도 높은 성능을 보였으며, 높은 유창성과 사실적 관련성을 나타냈다.
• 모델은 '왜?'와 '무엇에 대해?'와 같은 불완전한 질문을 성공적으로 생성하여 대화 기록에 의존하는 강력한 대화 일관성을 보였다.
• 수동 분석을 통해 핵심어 일치가 질문 내 대명사가 이전 대화 전환의 전행어에 효과적으로 연결됨을 확인했다.
• 대화 흐름 모델링은 그림 1에서 시각화한 바와 같이 초기 문단 조각에서 후행 조각으로의 자연스러운 초점 이동을 가능하게 했으며, 인간의 대화 패턴과 일치했다.
• 제거 실험 결과, 핵심어 일치와 대화 흐름 모델링 모두 상호 연결성 향상에 기여했으며, 특히 핵심어 일치가 더 강한 개별 영향을 미쳤다.