[논문 리뷰] Separating Answers from Queries for Neural Reading Comprehension

Dirk Weissenborn|arXiv (Cornell University)|2016. 07. 12.

Topic Modeling참고 문헌 25인용 수 17

한 줄 요약

이 논문은 질문과 답변 표현을 전용 임베딩 행렬과 느슨하게 연결된 모듈을 사용해 명시적으로 분리하는 새로운 신경망 아키텍처를 소개한다. 질문과 답변 표현을 별도로 처리하고, 다중 검색 루프를 통해 지원 지식을 누적함으로써 CNN/DailyMail 및 Children’s Book Test 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 4~7단계의 반복적 개선을 통해 뚜렷한 성능 향상을 보인다.

ABSTRACT

We present a novel neural architecture for answering queries, designed to optimally leverage explicit support in the form of query-answer memories. Our model is able to refine and update a given query while separately accumulating evidence for predicting the answer. Its architecture reflects this separation with dedicated embedding matrices and loosely connected information pathways (modules) for updating the query and accumulating evidence. This separation of responsibilities effectively decouples the search for query related support and the prediction of the answer. On recent benchmark datasets for reading comprehension, our model achieves state-of-the-art results. A qualitative analysis reveals that the model effectively accumulates weighted evidence from the query and over multiple support retrieval cycles which results in a robust answer prediction.

연구 동기 및 목표

• 기존 모델에서 질문과 답변 표현이 혼동되어 질문 개선 및 증거 누적 능력이 떨어지는 문제를 해결하기 위해.
• 지원 지식을 질문-답변 쌍으로 명시적으로 표현함으로써 타겟된 검색과 예측을 가능하게 하여 독해 능력을 향상시키기 위해.
• 다중 검색 루프(호프)가 답변 예측의 정확성과 견고성에 미치는 영향을 조사하기 위해.
• 질문과 답변 경로를 분리함으로써 클로즈 스타일 독해 과제에서 모델 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 모델는 질문 표현과 답변 표현을 위한 두 개의 별도 임베딩 행렬을 사용하여 독립적인 업데이트를 가능하게 한다.
• 지원 텍스트에 대한 어텐션을 기반으로 현재 질문 표현을 업데이트할지 유지할지를 결정하는 게이팅 메커니즘을 적용한다.
• 정답을 위한 증거는 별도의 경로를 통해 다중 호프 동안 지원 문서의 관련 스판을 가중치를 두고 누적한다.
• 최종 답변은 개선된 질문 표현과 누적된 증거를 게이팅 퓨전 메커니즘을 사용해 결합함으로써 예측한다.
• 이 아키텍처는 엔드 투 엔드로 미분 가능하며, 클로즈 스타일 독해 데이터셋을 기반으로 역전파를 통해 훈련된다.
• 다중 검색 루프(호프)를 사용해 반복적으로 질문을 개선하고 증거를 누적하며, 다양한 호프 수에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 질문과 답변 표현을 분리함으로써 신경망 독해 모델의 성능 향상이 가능할까?
• RQ2 다중 검색 루프에서 반복적인 질문 개선이 답변 예측 정확성에 어떤 영향을 미치는가?
• RQ3 다양한 호프에서 가중치가 부여된 증거를 누적하는 능력이 정확성과 견고성에 얼마나 기여하는가?
• RQ4 왜 일부 경우에서 정답 스팬이 어텐션에서 강하게 강조되지 않았음에도 불구하고 모델이 정답을 올바르게 예측하는가?

주요 결과

• 모델는 CNN/DailyMail 및 Children’s Book Test (CBT) NE 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 최소 4개의 호프를 사용할 경우 1 또는 2개의 호프보다 성능 향상이 뚜렷하며, 3~7개의 호프 이후로는 성능이 안정화된다.
• 4호프로 훈련된 모델가 5호프를 사용할 경우 CBT NE 데이터셋에서 정확도가 0.6%p 향상된다.
• 샘플된 CNN 예제의 64%에서 정답이 첫 번째 호프부터 예측까지 유지된다.
• 어떤 경우에서는 어텐션 가중치가 정답을 전혀 집중하지 않음에도 불구하고 모델이 정답을 올바르게 예측하는 경우가 있어, 질문 표현이 강력한 영향을 미친다.
• 최종 답변 예측에서 질문 표현을 제거하면 'people'과 같은 잘못된 답변으로 이격되며, 이는 질문 표현이 최종 예측을 편향시키고 정확도를 향상시킨다는 것을 확인한다.