[논문 리뷰] Finding Generalizable Evidence by Learning to Convince Q&A Models

Ethan Perez, Siddharth Karamcheti외 4명|arXiv (Cornell University)|2019. 09. 12.

Topic Modeling참고 문헌 37인용 수 5

한 줄 요약

이 논문은 특정 답변에 대해 사전에 훈련된 질문-답변(QA) 모델을 가장 설득할 수 있는 문장 조각을 선택하도록 학습시키는 증거 에이전트를 제안한다. 이는 일반화 가능하고 고성능의 증거를 생성한다. 이 방법은 인간과 모델의 성능을 향상시키며, 원래의 문장 조각의 약 20%만으로도 정확한 QA를 가능하게 하여 다양한 모델과 과제에 걸쳐 강력한 일반화 성능을 보여준다.

ABSTRACT

We propose a system that finds the strongest supporting evidence for a given answer to a question, using passage-based question-answering (QA) as a testbed. We train evidence agents to select the passage sentences that most convince a pretrained QA model of a given answer, if the QA model received those sentences instead of the full passage. Rather than finding evidence that convinces one model alone, we find that agents select evidence that generalizes; agent-chosen evidence increases the plausibility of the supported answer, as judged by other QA models and humans. Given its general nature, this approach improves QA in a robust manner: using agent-selected evidence (i) humans can correctly answer questions with only ~20% of the full passage and (ii) QA models can generalize to longer passages and harder questions.

연구 동기 및 목표

• 주어진 답변에 대해 문장 기반 QA에서 가장 설득력 있고 일반화 가능한 증거를 자동으로 식별하는 방법을 개발하는 것.
• 특정 QA 모델을 설득시키기 위해 선택된 증거가 다른 모델과 인간 평가자에게도 일반화되는지 조사하는 것.
• 전체 문장 조각 대신 에이전트가 선택한 증거를 사용하여 QA의 효율성과 일반화 능력을 향상시키는 것.
• 에이전트가 선택한 증거가 인간 질문 응답을 보조하고 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 증거 에이전트는 특정 답변에 대해 판별자 QA 모델의 예측 확률을 최대화하는 문장 조각을 선택하도록 훈련된다.
• 각 에이전트는 순차적 결정 프레임워크를 기반으로 하며, 할당된 답변에 대한 판별자의 자신감을 가장 크게 높이는 문장을 탐욕적으로 추가한다.
• 에이전트들은 자유경쟁 또는 라운드로빈 설정에서 경쟁하며, 서로의 선택을 조건으로 삼아 공동의 증거 풀을 형성한다.
• 이 방법은 히우리스틱 검색(TF-IDF, fastText 등)과 학습된 신경망 검색(BERT-base, BERT-large 등)을 모두 활용하여 증거를 식별한다.
• 에이전트는 답변 확률을 예측하거나 증거 추가 시 확률의 변화를 예측하도록 훈련되어 종단간 최적화를 가능하게 한다.
• 일반화 능력은 전체 문장 조각 대신 에이전트가 선택한 증거만 제공되었을 때 인간과 모델의 성능을 측정하여 평가된다.

실험 결과

연구 질문

• RQ1 특정 QA 모델을 설득시키기 위해 선택된 증거가 다른 모델과 인간 평가자에게도 일반화되는가?
• RQ2 에이전트가 선택한 증거 문장 조각의 소수만을 사용할 경우 인간의 질문 응답 정확도가 얼마나 유지되는가?
• RQ3 에이전트가 선택한 증거를 사용할 경우 QA 모델이 더 긴 문장 조각과 더 어려운, 분포 외 질문에 대해 더 잘 일반화되는가?
• RQ4 다양한 증거 선택 전략(BERT 대 TF-IDF 등)이 정답을 지지하고 오답을 억제하는 데 얼마나 효과적인가?

주요 결과

• 에이전트가 선택한 증거 문장 조각의 약 20%만으로도 인간은 RACE 질문의 73.2%와 DREAM 질문의 83.8%를 정답으로 맞힐 수 있으며, 전체 문장 조각 사용 시의 인간 정확도의 90%를 유지한다.
• 에이전트가 선택한 증거를 사용할 경우, 짧은 문장 조각으로 훈련된 QA 모델이 더 긴 문장 조각에 대해 더 정확하게 일반화된다.
• 가장 설득력 있는 증거만을 사용할 경우, 중학교 수준 독해 문제에 대해 훈련된 QA 모델이 고등학교 수준 시험 문제에 대해 더 잘 일반화된다.
• BERT-base 검색 에이전트는 정답 지지를 능력(82.5% 대 79.4%)과 오답 지지를 억제 능력(34.6% 대 38.7%)에서 BERT-large를 능가한다.
• 기본 방법 대비 에이전트가 선택한 증거는 인간 QA 정확도를 향상시킨다: BERT-base 에이전트 선택 시 DREAM에서 83.8%의 정확도를 기록했으며, fastText(79.1%)와 TF-IDF(69.2%)를 모두 초월한다.
• 에이전트가 선택한 증거는 여러 QA 모델과 인간 평가자 모두에서 지지되는 답변의 타당성을 높이며, 원래 판별자 모델을 초월한 일반화 능력을 보여준다.