[논문 리뷰] Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection

Luca Di Liello, Siddhant Garg외 2명|arXiv (Cornell University)|2022. 05. 20.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 트랜스포머 모델의 문장 수준 사전 훈련 목표를 제안하여 단락 및 문서 수준의 의미를 통합함으로써 답변 문장 선택(AS2) 성능을 햖저한다. 모델은 문장-단락 및 단락-문서 관계를 예측하도록 학습하며, 추가적인 레이블 데이터 없이 공개 및 산업계 AS2 데이터셋에서 RoBERTa 및 ELECTRA보다 3–4%의 절대 F1 향상을 달성한다.

ABSTRACT

An important task for designing QA systems is answer sentence selection (AS2): selecting the sentence containing (or constituting) the answer to a question from a set of retrieved relevant documents. In this paper, we propose three novel sentence-level transformer pre-training objectives that incorporate paragraph-level semantics within and across documents, to improve the performance of transformers for AS2, and mitigate the requirement of large labeled datasets. Specifically, the model is tasked to predict whether: (i) two sentences are extracted from the same paragraph, (ii) a given sentence is extracted from a given paragraph, and (iii) two paragraphs are extracted from the same document. Our experiments on three public and one industrial AS2 datasets demonstrate the empirical superiority of our pre-trained transformers over baseline models such as RoBERTa and ELECTRA for AS2.

연구 동기 및 목표

• 큰 레이블 데이터셋에 의존도를 줄임으로써 자원이 제한된 환경에서 답변 문장 선택(AS2) 성능을 향상시키는 것.
• 기존 사전 훈련 접근법에서 미처 다루지 않은 단락 및 문서 수준의 의미를 문장 쌍 표현에 통합하는 것.
• 실제 QA 시나리오의 복잡성을 반영하여 교차 문서 및 교차 단락 관계를 포착하는 문장 수준의 사전 훈련 목표를 설계하는 것.
• 이러한 목표로 사전 훈련을 수행할 경우 추가 레이블 데이터 없이도 최종 AS2 성능 향상이 이루어지는지 입증하는 것.
• AS2 데이터셋에 대한 효율적인 미세조정을 가능하게 하기 위해 코드 및 사전 훈련된 모델을 공개하는 것.

제안 방법

• 세 가지 새로운 문장 수준 사전 훈련 목표를 제안: (i) 동일 단락 내 문장 예측, (ii) 단락에서 온 문장 예측, (iii) 동일 문서 내 단락 예측.
• 목표들이 문장 쌍을 기반으로 작동하도록 설계하여, 단락 및 문서 간의 계층적 의미 관계를 학습할 수 있도록 한다.
• 대규모 위키백과 데이터를 기반으로 마스크 언어 모델링(MLM)과 제안된 목표를 조합하여 RoBERTa-Base 및 ELECTRA-Base 모델을 사전 훈련한다.
• 각 목표에 대해 음성 및 양성 쌍을 구성하는 데이터 샘플링 전략을 사용하여 다양한 도전 과제를 갖춘 훈련 예제를 확보한다.
• 대조 학습 원리를 목표 설계를 통해 암묵적으로 적용하여, 의미적으로 관련된 및 관련이 없는 문장/단락 쌍을 구분하도록 모델을 유도한다.
• 최종 AS2 데이터셋에 대한 미세조정을 촉진하기 위해 코드 및 사전 훈련된 모델 체크포인트를 공개한다.

실험 결과

연구 질문

• RQ1 단락 및 문서 수준의 의미를 모델링하는 문장 수준의 사전 훈련 목표가 AS2 성능 향상에 기여하는가?
• RQ2 제안된 목표가 표준 MLM 및 NSP/SOP 목표보다 더 나은 일반화 성능을 보이는가?
• RQ3 사전 훈련된 모델이 큰 레이블 기반 AS2 데이터셋의 필요성을 얼마나 줄이는가?
• RQ4 기존의 NSP 및 SOP 작업과 비교해 볼 때 제안된 목표의 난이도는 어떠한가?
• RQ5 추가 데이터 없이도 다양한 AS2 벤치마크에서 사전 훈련된 모델이 효과적으로 미세조정 가능한가?

주요 결과

• 제안된 사전 훈련 목표는 세 개의 공개 및 한 개의 산업계 AS2 데이터셋에서 RoBERTa 및 ELECTRA 기준보다 F1 점수를 3–4% 향상시킨다.
• 단지 MLM으로만 사전 훈련된 모델는 제안된 목표를 사용한 모델보다 성능이 열 劣하므로, 성능 향상은 새로운 목표에서 기인하며 데이터 샘플링 때문이 아님을 시사한다.
• 검증 정확도가 낮은 것으로 나타나 (예: SSP의 약 80% vs. NSP의 약 94%), NSP 및 SOP보다 훨씬 더 도전적인 사전 훈련 과제임을 입증하며 더 풍부한 의미 학습이 이루어졌음을 시사한다.
• 유의미한 답변을 더 높은 순위로 랭킹할 수 있는 능력이 향상되었으며, 이는 사전 훈련 과정에서 다수의 단락 및 문서를 통한 추론 능력을 학습했기 때문일 것이다.
• 제거 실험을 통해 성능 향상 요인이 하이퍼파라미터 튜닝이나 데이터 샘플링이 아니라 새로운 사전 훈련 목표에서 기인한다는 것이 확인되었다.
• 사전 훈련된 모델는 AS2 벤치마크에서 최고 성능을 기록하며, 문장 수준 사전 훈련에 문서 수준 의미를 통합하는 것이 효과적임을 입증한다.