[논문 리뷰] A Discrete Hard EM Approach for Weakly Supervised Question Answering

Sewon Min, Danqi Chen외 2명|arXiv (Cornell University)|2019. 09. 11.

Topic Modeling참고 문헌 40인용 수 16

한 줄 요약

이 논문은 사전에 계산된 가능한 해답 집합(예: 답변 스파니언 또는 방정식)을 이산 잠재변수로 간주하는 이산 하드 EM 방법을 제안한다. 반복적으로 가장 가능성 높은 해답을 예측하고 이를 강화하여 모델 파라미터를 업데이트함으로써, 여섯 개의 QA 작업에서 최신 기준 성능을 달성하며, 이전 방법 대비 절대적 성능 향상 2–10%를 기록한다. 특히 해답 집합이 크고 노이즈가 많을 경우 뛰어난 성능을 보인다.

ABSTRACT

Many question answering (QA) tasks only provide weak supervision for how the answer should be computed. For example, TriviaQA answers are entities that can be mentioned multiple times in supporting documents, while DROP answers can be computed by deriving many different equations from numbers in the reference text. In this paper, we show it is possible to convert such tasks into discrete latent variable learning problems with a precomputed, task-specific set of possible "solutions" (e.g. different mentions or equations) that contains one correct option. We then develop a hard EM learning scheme that computes gradients relative to the most likely solution at each update. Despite its simplicity, we show that this approach significantly outperforms previous methods on six QA tasks, including absolute gains of 2--10%, and achieves the state-of-the-art on five of them. Using hard updates instead of maximizing marginal likelihood is key to these results as it encourages the model to find the one correct answer, which we show through detailed qualitative analysis.

연구 동기 및 목표

• 정답 텍스트만 제공되고 그 정답에 도달하는 방법에 대한 명시적 지도가 없는 약한 감독 QA 환경에서 학습 문제를 해결하기 위해.
• 여러 잠재적 잘못된 유도 과정(예: 여러 개의 답변 언급 또는 방정식)이 정답을 낼 수 있는 작업에서 모델 성능을 향상시키기 위해.
• 모든 후보에 대한 마진널 확률을 최대화하는 것보다는, 많은 가능성 있는 후보 중에서 유일한 정답 해답을 더 잘 식별할 수 있는 학습 방법을 개발하기 위해.
• 각 단계에서 가장 가능성 높은 해답에 집중하는 하드 EM 업데이트가, 부드럽거나 마진널 확률 최대화 방법보다 진정한 해답으로 향하는 더 강한 인덕티브 바이어스를 제공함을 보여주기 위해.

제안 방법

• 각 예제에 대해 사전에 계산된 가능한 답변 유도 과정(예: 문서 내 스팬 또는 수치에서 유도된 방정식)의 집합 Z를 이산 잠재변수로 간주한다.
• 현재 파라미터를 기반으로 각 학습 단계에서 가장 가능성 높은 해답 z ∈ Z를 모델이 예측한다.
• 예측된 z의 가능도를 최대화하도록 모델 파라미터를 업데이트하며, 단일로 가장 가능성이 높은 해답에 집중하는 하드 EM 방식의 업데이트를 사용한다.
• 예측(E단계)과 파라미터 업데이트(M단계)를 반복하여 수렴할 때까지 진행하며, 모델이 점차 정답 해답에 더 높은 확률을 할당하도록 한다.
• BERT와 같은 강력한 모델 아키텍처를 사용하여 다수의 QA 작업, 예를 들어 다중 언급 독해, 이산 추론(DROP), 의미 분석(WikiSQL) 등에 이 방법을 적용한다.
• 노이즈가 있는 Z 집합(예: ROUGE-L 임계치를 통해)을 사용하여 테스트함으로써 강건성을 확보하였으며, MML 기반 기준 대비 더 적은 민감도를 보임을 확인하였다.

실험 결과

연구 질문

• RQ1 사전에 계산된 해답 집합을 가진 이산 잠재변수 설정이 약한 감독 QA 작업에서 학습을 향상시킬 수 있는가?
• RQ2 각 업데이트 단계에서 가장 가능성 높은 해답에 집중하는 하드 EM이, 마진널 가능도 최대화 방법보다 정답 해답을 더 잘 식별하는가?
• RQ3 해답 집합 Z에 많은 잘못된 후보가 포함되어 있을 경우, 특히 DROP 및 WikiSQL과 같은 작업에서 이 방법의 성능은 어떠한가?
• RQ4 ROUGE-L과 같은 히우리스틱 방법으로 구성된 Z에 노이즈가 있을 경우, 이 방법은 얼마나 강건한가?
• RQ5 모델이 정답 해답에 높은 확률을 할당하는 정도는 어느 정도이며, MML 기반 학습과 비교해 볼 때 어떻게 다른가?

주요 결과

• 제안된 하드 EM 방법은 TriviaQA, NarrativeQA, DROP, WikiSQL 등 여섯 개의 다양한 QA 작업에서 이전 방법 대비 절대적 성능 향상 2–10%를 기록한다.
• WikiSQL에서 이 방법은 최근 최신 기준 보상 기반 의미 분석 모델보다 13% 절대적 성능 향상을 기록하며, 복잡한 추론 작업에서의 효과성을 입증한다.
• |Z| > 3일 경우 특히 효과적이며, 해답 집합 크기가 커질수록 MML 대비 성능 격차가 커지므로, 모호함을 더 잘 다루는 것으로 나타났다.
• 정성적 분석 결과, 모델이 점차 정답 해답에 더 높은 확률을 할당하는 경향을 보였으며, NarrativeQA에서는 98%의 정답 예측에서 정답 해답이 선택되었고, DROP ${}_{\text{num}}$에서는 92%의 정답에서 정답 해답이 선택되었다.
• Z의 노이즈에 대해 모델은 강건하다: ROUGE-L 임계치를 더 느슨하게 하여 Z 크기를 4.3에서 7.1로 늘였을 때, MML 성능은 4.93점 하락한 반면, 하드 EM 방법은 오직 0.80점 하락하였다.
• 모델은 때때로 잘못된 예측을 할 수 있다(예: DROP에서 '37-36'을 '40-36'보다 선호), 하지만 이를 회복하고 수정하며, 하드 EM과 일관된 동적 학습 행동을 보여준다.