[논문 리뷰] HAS-QA: Hierarchical Answer Spans Model for Open-domain Question Answering

Liang Pang, Yanyan Lan외 4명|arXiv (Cornell University)|2019. 01. 12.

Topic Modeling참고 문헌 21인용 수 6

한 줄 요약

이 논문은 독해 모델을 개방형 질의응답(OpenQA)에 그대로 적용할 때 발생하는 세 가지 핵심 문제인 불필요한 문단, 한 문단당 다중 답변 스파이크, 독립적인 시작/종료 위치 예측을 해결하기 위한 계층적 답변 스파이크 모델인 HAS-QA를 제안한다. 질문, 문단, 스파이크의 세 수준으로 구성된 계층적 구조를 통해 답변 확률을 모델링함으로써 QuasarT, TriviaQA, SearchQA에서 기존의 전통적 RC 기반 모델과 최근의 OpenQA 모델을 능가하는 성능을 달성한다.

ABSTRACT

This paper is concerned with open-domain question answering (i.e., OpenQA). Recently, some works have viewed this problem as a reading comprehension (RC) task, and directly applied successful RC models to it. However, the performances of such models are not so good as that in the RC task. In our opinion, the perspective of RC ignores three characteristics in OpenQA task: 1) many paragraphs without the answer span are included in the data collection; 2) multiple answer spans may exist within one given paragraph; 3) the end position of an answer span is dependent with the start position. In this paper, we first propose a new probabilistic formulation of OpenQA, based on a three-level hierarchical structure, i.e.,~the question level, the paragraph level and the answer span level. Then a Hierarchical Answer Spans Model (HAS-QA) is designed to capture each probability. HAS-QA has the ability to tackle the above three problems, and experiments on public OpenQA datasets show that it significantly outperforms traditional RC baselines and recent OpenQA baselines.

연구 동기 및 목표

• 독해(reading comprehension, RC) 모델을 개방형 질의응답(open-domain question answering, OpenQA)에 직접 적용할 때 발생하는 한계를 해결하기 위해, RC 모델이 모든 문단에 답변이 포함되어 있다고 가정하고 답변 스파이크를 독립적으로 처리한다는 점을 고려한다.
• OpenQA 데이터에는 답변 스파이크가 없는 많은 불필요한 문단이 포함되어 있으며, 한 문단에 여러 개의 유효한 답변 스파이크가 존재하고, 답변 스파이크의 시작 및 종료 위치 간 의존성이 존재한다는 점을 인식한다.
• OpenQA를 질문, 문단, 스파이크의 세 수준으로 분해한 확률적 공식을 제안함으로써 답변 예측의 계층적 구조를 보다 잘 모델링한다.
• 문단의 품질 평가, 다중 답변 스파이크 집계, 조건부 스파이크 예측을 통합한 엔드 투 엔드 모델인 HAS-QA를 설계하여 답변 정확도를 향상시킨다.
• 문단의 관련성과 스파이크 간 의존성을 모델링할 경우, RC 및 기존 OpenQA 기반 모델 대비 공개 OpenQA 벤치마크에서 성능 향상이 뚜렷하게 이루어진다는 것을 입증한다.

제안 방법

• OpenQA를 계층적 확률 모델로 공식화한다: 답변 확률 = 문단 확률 × 조건부 답변 확률. 여기서 문단 확률은 관련성을 측정하고, 답변 확률은 다중 스파이크를 집계한다.
• 양방향 GRU와 어텐션을 사용하여 문단 관련성 점수를 계산하고, 훈련 중 음성 샘플링 전략을 통해 문단 간 정규화를 수행한다.
• 한 문단 내 다중 답변 스파이크를 네 가지 집계 함수—HEAD, RAND, SUM, MAX—를 사용하여 모델링하며, 모든 유효한 스파이크에서 증거를 통합함으로써 SUM 및 MAX가 뛰어난 성능을 보인다.
• 시작 위치에 기반해 종료 위치를 생성하는 조건부 포인터 네트워크를 구현하여, 답변 스파이크의 시작 및 종료 위치 간 의존성을 명시적으로 모델링한다.
• 효율성과 성능의 균형을 위해 초기화 파라미터 $K_1$ (스파이크 수)와 $K_2$ (스파이크당 후보 수)를 사용한 빔 서치를 구현하며, 최적의 설정으로 $K_1=3, K_2=1$를 선택한다.
• 문단 수준의 감독을 음성 샘플링을 통해 제공함으로써 불필요한 문단에 대한 강인성을 향상시키며, 답변 스파이크에 대해 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 질문, 문단, 스파이크의 세 수준으로 분해된 계층적 확률 모델링 방식이 전통적 RC 모델 대비 답변 예측 성능을 어떻게 향상시키는가?
• RQ2 문단의 관련성(즉, 문단 확률)을 모델링할 경우, OpenQA에서 불필요한 문단의 영향을 얼마나 줄일 수 있는가?
• RQ3 한 문단 내 다중 답변 스파이크를 집계함으로써 답변 정확도를 향상시킬 수 있으며, 이때 HEAD, RAND, SUM, MAX 중 어떤 집계 전략이 가장 높은 성능을 낼 수 있는가?
• RQ4 시작 및 종료 위치 간 의존성을 모델링할 경우, 독립적인 예측 방식에 비해 예측 품질은 어떻게 향상되는가?
• RQ5 제안된 HAS-QA 모델이 표준 벤치마크에서 전통적 RC 기반 모델과 최근의 OpenQA 모델을 모두 뛰어넘는가?

주요 결과

• HAS-QA는 MAX 집계 함수를 사용하여 QuasarT에서 EM 점수 0.432를 기록했으며, 이는 HEAD 기반 모델 대비 6–10% 향상된 성능으로 다중 스파이크 집계의 효과를 입증한다.
• SUM 및 MAX 집계 함수는 HEAD 대비 6–10% 향상된 EM 점수를 기록했으며, RAND는 다수의 스파이크에서 발생하는 충돌하는 학습 신호로 인해 성능이 열 劣하다.
• 문단 품질 추정기 덕분에 HAS-QA는 최대 30개의 문단이 존재하는 상황에서도 높은 성능을 유지하며, Shared-Norm(약 15개 문단에서 포화)과 PosOnly(약 5개 문단에서 포화)를 능가한다.
• 문단 MAP 점수는 HAS-QA의 문단 확률 순위가 Shared-Norm 및 PosOnly를 모두 능가함을 보여주며, 관련 문단을 식별하는 능력을 확인한다.
• 빔 서치에서 $K_1=3$ 및 $K_2=1$ 설정이 성능과 속도의 최적 균형을 이룬다. 다양한 설정에서도 EM 점수가 안정적으로 0.432를 유지한다.
• TriviaQA 및 SearchQA에서 HAS-QA는 전통적 RC 기반 모델과 최근의 OpenQA 모델을 모두 뛰어넘는 성능을 보이며, 다양한 OpenQA 데이터셋에 대한 일반화 능력을 확인한다.