[논문 리뷰] SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering

Chenguang Zhu, Michael Zeng외 1명|arXiv (Cornell University)|2018. 12. 10.

Topic Modeling참고 문헌 14인용 수 118

한 줄 요약

SDNet는 맥락화된 상호 주의 및 대화 내역에 대한 자기 주의를 패시지와 대화 히스토리에 적용하고, 가중된 층 결합으로 BERT를 고정 매개변수 방식으로 활용하여 대화형 QA를 발전시키고 CoQA에서 최첨단을 달성한다.

ABSTRACT

Conversational question answering (CQA) is a novel QA task that requires understanding of dialogue context. Different from traditional single-turn machine reading comprehension (MRC) tasks, CQA includes passage comprehension, coreference resolution, and contextual understanding. In this paper, we propose an innovated contextualized attention-based deep neural network, SDNet, to fuse context into traditional MRC models. Our model leverages both inter-attention and self-attention to comprehend conversation context and extract relevant information from passage. Furthermore, we demonstrated a novel method to integrate the latest BERT contextual model. Empirical results show the effectiveness of our model, which sets the new state of the art result in CoQA leaderboard, outperforming the previous best model by 1.6% F1. Our ensemble model further improves the result by 2.7% F1.

연구 동기 및 목표

• 대화 히스토리와 패시지 이해를 통합하여 대화형 질의응답의 도전과제를 해결한다.
• 상호 주의와 자기 주의를 통해 맥락을 융합하는 신경망 아키텍처를 개발한다.
• 고정 매개변수 방식으로 BERT의 맥락 임베딩을 활용하여 MRC 기반 QA를 향상시킨다.

제안 방법

• 이전 Q/A 라운드를 현재 질문 앞에 추가하여 MRC 프레이밍을 위한 맥락화된 질문을 형성한다.
• 질문에서 패시지로의 상호 주의를 사용하고 단어 간의 자기 주의를 통해 맥락과 질의 간의 관계를 포착한다.
• 매개변수를 고정한 채(BERT의 층 출력들의 가중합을 취하는 방식으로) 가중치를 이용해 BERT를 통합한다(그라디언트 업데이트 없음).
• 단어 기반의 다단계 주의를 적용하여 여러 BERT/RNN 표현을 효율적으로 융합한다.
• 스타트/엔드 확률로 답의 범위를 생성하고 GRU 융합 단계로 처리하며 CoQA에 대한 예/아니오/모름 출력을 처리한다.
• 정답 범위나 예/아니오/모름 라벨의 가능도 최대화를 통해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 다회 질문에 답하기 위해 대화 히스토리를 패시지 기반 QA에 효과적으로 통합하는 방법은?
• RQ2 상호 주의, 자기 주의, 맥락 임베딩의 결합이 QA 성능에 미치는 영향은 무엇인가?
• RQ3 BERT 매개변수를 고정하고 가중된 층 결합을 사용하는 것이 다운스트림 QA 작업을 개선하는가?
• RQ4 SDNet의 CoQA 성능은 이전 최첨단 모델 및 기준선과 비교하여 어떤가?

주요 결과

• SDNet은 CoQA에서 단일 모델로 전체 F1 76.6%를 달성하여 이전 최첨단보다 1.6% 포인트 높다.
• 앙상블 SDNet은 전체 F1 79.3%를 산출하여 이전 결과를 추가로 넘어선다.
• SDNet은 도메인 내 데이터에서 CoQA의 F1 80%를 돌파한 최초의 모델로(80.7%).
• 일부 제거 실험에서 BERT 제거 시 F1이 7.15% 감소하고, BERT 출력들의 층별 가중합은 마지막 층만 사용하는 경우보다 F1을 1.75% 향상시킨다.
• 현재 질문에 이전 두 회차의 QA를 앞에 추가하는 것이 테스트된 히스토리 길이 중 최고 성능을 보인다.