[논문 리뷰] Hierarchical Memory Networks for Answer Selection on Unknown Words

Jiaming Xu, Jing Shi외 4명|arXiv (Cornell University)|2016. 09. 28.

Topic Modeling참고 문헌 18인용 수 9

한 줄 요약

이 논문은 질문-답변에서 답변 선택을 위한 문장 수준 및 어절 수준 메모리의 공동 모델링을 위한 새로운 아키텍처인 계층적 메모리 네트워크(HMN)를 제안한다. k-최대 풀링을 통해 상위-k개의 관련 문장을 선별한 후 어절 수준 메모리에서 주의 메커니즘을 적용함으로써, 희귀하거나 알려지지 않은 단어에 대해서도 세밀한 의미적 세부 정보를 효과적으로 포착한다. 이는 알려지지 않은 답변을 포함한 합성 대화 데이터셋에서 표준 메모리 네트워크를 능가하는 성능을 달성한다.

ABSTRACT

Recently, end-to-end memory networks have shown promising results on Question Answering task, which encode the past facts into an explicit memory and perform reasoning ability by making multiple computational steps on the memory. However, memory networks conduct the reasoning on sentence-level memory to output coarse semantic vectors and do not further take any attention mechanism to focus on words, which may lead to the model lose some detail information, especially when the answers are rare or unknown words. In this paper, we propose a novel Hierarchical Memory Networks, dubbed HMN. First, we encode the past facts into sentence-level memory and word-level memory respectively. Then, (k)-max pooling is exploited following reasoning module on the sentence-level memory to sample the (k) most relevant sentences to a question and feed these sentences into attention mechanism on the word-level memory to focus the words in the selected sentences. Finally, the prediction is jointly learned over the outputs of the sentence-level reasoning module and the word-level attention mechanism. The experimental results demonstrate that our approach successfully conducts answer selection on unknown words and achieves a better performance than memory networks.

연구 동기 및 목표

• 희귀하거나 알려지지 않은 단어에서의 질문-답변에 대한 답변 선택 과제를 해결하기 위해, 표준 모델이 이러한 용어를 기각하거나 마스킹하는 문제를 해결한다.
• 장기적 맥락 정보에 대한 추론을 향상시키기 위해 문장 수준 및 어절 수준의 메모리 표현을 통합한다.
• 문장 수준의 추론과 어절 수준의 주의 메커니즘을 공동으로 학습시켜, 알려지지 않은 또는 희귀한 실체에 대한 모델의 강건성을 향상시킨다.
• 가장 관련성이 높은 문장들로 주의 범위를 제한하기 위해 k-최대 풀링을 사용함으로써 계산 비용을 줄이면서도 높은 성능을 유지한다.
• 계층적 메모리와 맥락 인식 어절 인코딩(예: BiGRU)이 QA에서 알려지지 않은 단어 탐지 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 모델은 시간적 인코딩을 사용하여 입력 문장을 문장 수준의 메모리로 인코딩함으로써, 다단계 추론을 통해 관련 사실을 검색할 수 있도록 한다.
• 질문에 대해 가장 관련성이 높은 k개의 문장을 선택하기 위해 문장 수준의 메모리 출력에 k-최대 풀링을 적용한다.
• 개별 어절의 맥락 정보를 포함하여 표현 품질을 향상시키기 위해 BiGRU 또는 GRU를 사용하여 어절 수준의 메모리를 구성한다.
• 선택된 k개 문장의 어절 수준 메모리에 주의 메커니즘을 적용하여 의미적으로 관련성이 높은 어절에 집중한다.
• 문장 수준 추론 모듈의 출력과 어절 수준 주의 메커니즘의 출력을 공동으로 학습하여 최종 예측을 수행한다.
• 어절 수준 주의 메커니즘을 위한 프로브 벡터는 문장 수준 추론 모듈에서 유도되며, 이는 목표 답변의 의미적 의도와의 일치를 보장한다.

실험 결과

연구 질문

• RQ1 계층적 메모리 아키텍처는 질문-답변에서 희귀하거나 알려지지 않은 단어에 대한 답변 선택 성능을 향상시킬 수 있는가?
• RQ2 문장 수준 추론과 어절 수준 주의 메커니즘의 조합이 표준 메모리 네트워크보다 더 높은 성능을 낼 수 있는가?
• RQ3 어절 수준 인코딩의 선택(예: BiGRU 대비 GRU 또는 임bedding)이 알려지지 않은 단어에 대한 성능에 어떤 영향을 미치는가?
• RQ4 성능과 계산 비용의 균형을 고려할 때 k-최대 풀링의 최적의 k 값은 얼마인가?
• RQ5 주의 메커니즘이 'the', 'on'과 같은 잡음 어절을 효과적으로 걸러내며, 알려지지 않은 답변의 핵심 명사어(예: 'Wainwright' 또는 '899917359')에 집중할 수 있는가?

주요 결과

• HMN은 특히 희귀하거나 알려지지 않은 단어가 다수 포함된 합성 데이터셋에서 표준 메모리 네트워크보다 뛰어난 답변 선택 성능을 달성한다.
• BiGRU를 사용한 어절 수준 메모리 인코딩은 단순 임베딩이나 GRU보다 성능 향상에 크게 기여하며, k가 증가할수록 그 효과가 두드러진다.
• BiGRU를 사용한 HMN-Joint의 성능은 다양한 k 값에서 안정적이며, 이는 강건성과 확장성의 증거이다.
• k=4는 성능과 계산 비용의 양면에서 좋은 균형을 이룹니다. 더 높은 k 값은 추가적인 성능 향상 기여가 크지 않다.
• 주의 메커니즘이 'time'이나 'go'와 같은 관련 없는 단어를 효과적으로 걸러내며, 'Wainwright' 또는 '899917359'와 같은 핵심 명사어에 집중함을 확인했다.
• 문장 수준 추론 모듈에서 파생된 프로브 벡터는 어절 수준 주의 메커니즘의 정렬을 향상시켜 질문의 의미적 의도와 일치시킨다.