[논문 리뷰] Gated Group Self-Attention for Answer Selection

Dong Xu, Jianhui Ji외 3명|arXiv (Cornell University)|2019. 05. 26.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 질문-답변 시퀀스에서 국소적이고 전역적인 맥락 정보를 그룹 자기주의와 게이팅 메커니즘을 통해 구분하는 새로운 자기주의 기반 모델인 게이트드 그룹 세라프트(GGSA)를 제안한다. GGSA는 두 개의 QA 데이터셋에서 기존의 전역 자기주의 및 RNN 기반 모델을 능가하는 최신 기술 성능(SOTA)을 달성하면서도 계산 비용을 줄였다.

ABSTRACT

Answer selection (answer ranking) is one of the key steps in many kinds of question answering (QA) applications, where deep models have achieved state-of-the-art performance. Among these deep models, recurrent neural network (RNN) based models are most popular, typically with better performance than convolutional neural network (CNN) based models. Nevertheless, it is difficult for RNN based models to capture the information about long-range dependency among words in the sentences of questions and answers. In this paper, we propose a new deep model, called gated group self-attention (GGSA), for answer selection. GGSA is inspired by global self-attention which is originally proposed for machine translation and has not been explored in answer selection. GGSA tackles the problem of global self-attention that local and global information cannot be well distinguished. Furthermore, an interaction mechanism between questions and answers is also proposed to enhance GGSA by a residual structure. Experimental results on two popular QA datasets show that GGSA can outperform existing answer selection models to achieve state-of-the-art performance. Furthermore, GGSA can also achieve higher accuracy than global self-attention for the answer selection task, with a lower computation cost.

연구 동기 및 목표

• 질문-답변 시퀀스에서 장거리 의존성을 포착하는 데에 제한이 있는 RNN 기반 모델의 문제를 해결하기 위해.
• 전역 자기주의가 답변 선택에서 국소적 및 전역 맥락 정보를 구분하지 못하는 문제를 극복하기 위해.
• 질문-답변 간의 새로운 상호작용 메커니즘을 잔차 구조를 사용하여 도입함으로써 질문 인식 표현의 모델링을 향상시키기 위해.
• 이전에 RNN 및 CNN 모델에 의해 지배되어 온 답변 선택을 위한 자기주의 기반 모델을 개발하기 위해.
• 전역 자기주의보다 더 높은 정확도와 더 낮은 계산 비용을 달성하기 위해.

제안 방법

• GGSA는 슬라이딩 윈도우 방식을 사용하여 국소 그룹을 정의함으로써 질문과 답변 내부의 국소적 및 전역적 의존성을 별도로 모델링하기 위해 그룹 자기주의를 활용한다.
• 전역 정보 게이트를 도입하여 전역 맥락을 최종 표현에 통합하는 것을 동적으로 제어함으로써 장거리 의존성 모델링을 향상시킨다.
• 잔차 기반 상호작용 메커니즘을 사용하여 질문 인식 잔차를 계산하고 이를 답변 표현에 더함으로써 답변이 관련된 질문 내용에 주목할 수 있도록 한다.
• 멀티헤드 자기주의와 잔차 연결을 기반으로 한 아키텍처를 구축하였으며, 트랜스포저의 영향을 받았지만, 국소-전역 차별화를 위한 구조적 특화를 통해 답변 선택에 적합하게 조정하였다.
• 랭킹을 위해 고정 크기의 표현을 취하기 위해 GGSA 이후 최대 풀링을 적용하였으며, 훈련을 위해 쌍방향 및 포인트 방식의 손실 함수를 평가하였다.
• 모델은 두 개의 공개 QA 데이터셋에서 엔드 투 엔드로 훈련되었으며, 구성 요소 기여도를 검증하기 위해 추론 분석(ablation study)을 실시하였다.

실험 결과

연구 질문

• RQ1 자기주의 기반 모델이 기존의 RNN 및 CNN 기반 모델보다 답변 선택 과제에서 승리할 수 있는가?
• RQ2 자기주의에서 국소적 및 전역 맥락을 구분함으로써 성능과 효율성이 답변 선택에서 향상될 수 있는가?
• RQ3 질문과 답변 간의 잔차 기반 상호작용 메커니즘이 답변 표현 학습을 향상시키는가?
• RQ4 GGSA는 전역 자기주의 및 기타 최신 기술 모델과 비교해 성능과 계산 비용 측면에서 어떻게 성과를 내는가?
• RQ5 쌍방향 손실 함수와 포인트 손실 함수 중 어느 것이 GGSA의 답변 선택에서 더 좋은 성능을 내는가?

주요 결과

• GGSA는 쌍방향 손실을 사용하여 Yahoo!QA 데이터셋에서 P@1 점수 78.45%를 기록하여 최신 기술 성능(SOTA)을 달성했다.
• 동일한 데이터셋에서 쌍방향 손실을 사용한 GGSA는 포인트 손실 버전보다 더 높은 P@1(78.45% 대 74.26%)과 더 나은 MRR(85.07% 대 86.28%)를 기록했으며, MRR의 상충 관계가 있음에도 불구하고 성능이 뛰어나다.
• GGSA는 전역 자기주의보다 더 높은 정확도를 달성하면서도 더 낮은 계산 비용을 요구하여 효율성과 효과성을 동시에 입증했다.
• 추론 분석 결과, 그룹 자기주의와 잔차 상호작용 메커니즘이 성능 향상에 크게 기여하는 것으로 확인되었다.
• P@1에서는 쌍방향 손실 함수가 더 좋은 성능을 내었고, MRR에서는 포인트 손실 함수가 더 우수한 성능를 보였으며, 이는 랭킹 지표 간의 상충 관계를 시사한다.
• GGSA는 답변 선택을 위해 특별히 설계된 최초의 자기주의 기반 모델로, 두 개의 표준 데이터셋에서 새로운 SOTA 벤치마크를 수립했다.