[논문 리뷰] Studying Strategically: Learning to Mask for Closed-book QA

Qinyuan Ye, Belinda Z. Li외 6명|arXiv (Cornell University)|2020. 12. 31.

Topic Modeling참고 문헌 28인용 수 11

한 줄 요약

이 논문은 사전 훈련된 텍스트에서 작업에 관련된 스파이크를 식별하는 학습된 마스킹 정책을 제안하여 폐쇄형 질의응답 성능을 향상시킨다. 하류 QA 작업의 지도를 사용하여 정답 스파이크를 예측할 수 있는 정책을 훈련하고, 중간 단계 사전 훈련 동안 이를 적용함으로써 BART 모델에 더 많은 관련 지식을 통합한다. 이로 인해 TriviaQA에서 정확도가 24.71%에 도달하여 히우리스틱으로 강조된 스파이크 마스킹(23.62%)과 무작위 마스킹(22.93%)을 능가한다.

ABSTRACT

Closed-book question-answering (QA) is a challenging task that requires a model to directly answer questions without access to external knowledge. It has been shown that directly fine-tuning pre-trained language models with (question, answer) examples yields surprisingly competitive performance, which is further improved upon through adding an intermediate pre-training stage between general pre-training and fine-tuning. Prior work used a heuristic during this intermediate stage, whereby named entities and dates are masked, and the model is trained to recover these tokens. In this paper, we aim to learn the optimal masking strategy for the intermediate pre-training stage. We first train our masking policy to extract spans that are likely to be tested, using supervision from the downstream task itself, then deploy the learned policy during intermediate pre-training. Thus, our policy packs task-relevant knowledge into the parameters of a language model. Our approach is particularly effective on TriviaQA, outperforming strong heuristics when used to pre-train BART.

연구 동기 및 목표

• 중간 단계 사전 훈련 동안 마스킹할 스파이크를 전략적으로 선택하여 폐쇄형 질의응답 성능을 향상시키기.
• 하류 QA 작업의 지도를 기반으로 테스트될 가능성이 높은 스파이크를 식별하는 마스킹 정책을 학습하기.
• 명시적 엔티티나 날짜와 같은 히우리스틱 마스킹을 넘어서 데이터 기반, 작업 인지 마스킹 전략으로의 전환하기.
• 한 QA 데이터셋에서 학습한 정책이 다른 QA 데이터셋에서 성능 향상에 기여하는지 평가하기.
• 시험 가능 콘텐츠에 대한 메타지식이 어떻게 지능적인 마스킹을 통해 언어 모델 파rameter에 인코딩될 수 있는지 조사하기.

제안 방법

• QA 데이터셋의 (컨텍스트, 질문, 정답) 삼중세트를 사용하여 정책을 훈련시키며, 모델은 정답 스파이크의 시작 및 종료 위치를 예측한다.
• 정답 스파이크를 복구할 확률을 최대화하도록 훈련하며, 교차 엔트로피 손실을 사용한다.
• 일반 코퍼스(예: 위키백과)에서 중간 단계 사전 훈련 동안 이 정책을 적용하여 동적으로 작업에 관련된 스파이크를 마스킹한다.
• 이 작업 인지 사전 훈련 단계 이후에, 마스킹 언어 모델(BART)을 하류 폐쇄형 QA 작업에 미세조정한다.
• 언어 모델과 함께 정책을 종단 간(end-to-end)으로 훈련하며, 하류 QA 작업의 지도를 통해 스파이크 선택을 안내한다.
• 이 접근법은 마스킹을 갭 선택 작업으로 간주하며, 질문 생성과 유사하게, 시험에 나올 가능성이 높은 콘텐츠를 학습한다.

실험 결과

연구 질문

• RQ1 학습된 마스킹 정책이 히우리스틱 마스킹과 비교해 폐쇄형 질의응답 성능을 향상시킬 수 있는가?
• RQ2 한 QA 데이터셋에서 학습한 정책을 사용해 중간 단계 사전 훈련을 수행하면 다른 QA 데이터셋에서 성능 향상이 이루어지는가?
• RQ3 중간 단계 사전 훈련에서 학습된 마스킹 정책의 성능은 무작위 또는 히우리스틱 마스킹 전략과 비교해 어떻게 되는가?
• RQ4 학습된 마스킹 정책이 포착하는 메타지식의 유형은 무엇이며, 학생의 시험 준비 행동과 어떻게 관련되는가?
• RQ5 마스킹 정책을 사용해 언어 모델 파rameter에 작업에 관련된 지식을 효과적으로 '압축'할 수 있는가?

주요 결과

• 학습된 마스킹 정책은 TriviaQA 개발 세트에서 24.71%의 정확도를 기록하여, 강조된 스파이크 마스킹(23.62%)과 무작위 마스킹(22.93%)을 능가한다.
• BART-large 모델에 최적의 정책을 적용했을 때도 성능 향상이 일관되게 유지되어, 베이스 모델을 초월한 확장성 잠재력을 보여준다.
• 정책은 양성 전이 성능을 보이며, TriviaQA에서 학습한 모델이 다른 QA 데이터셋에서 성능 향상을 이룬다. 이는 스파이크 선택에 공통된 메타지식이 존재함을 시사한다.
• 정책은 컨텍스트 문단에서 중요한 사실적 스파이크(예: 기관, 날짜)를 효과적으로 마스킹하여 인간의 시험 가능 콘텐츠 기대와 일치한다.
• 독립적인 시작/종료 위치 예측으로 인해 잘못된 스파이크 경계(예: 두 개의 별개 엔티티를 하나의 스파이크로 조합)를 유발하는 한계가 존재한다.
• 결과는 중간 단계 사전 훈련 동안 전략적 마스킹이 모델 확장보다 더 큰 영향을 미칠 수 있음을 시사하며, 강조된 스파이크 마스킹이 T5를 3B에서 11B 파라미터로 확장하는 것보다 성능 향상에 더 효과적임을 보여준다.