[논문 리뷰] A Paragraph-level Multi-task Learning Model for Scientific Fact-Verification

Xiangci Li, Gully Burns외 1명|arXiv (Cornell University)|2020. 12. 28.

Topic Modeling참고 문헌 31인용 수 28

한 줄 요약

이 논문은 BERT를 사용한 압축된 문단 인코딩을 통해 이중 과제 학습을 통한 추론 선택과 입장 예측을 공동 최적화하는 과학적 사실 검증을 위한 문단 수준의 다중 과제 학습 모델을 제안한다. 전체 문단의 문맥적 표현과 동적 주의 메커니즘을 활용하여, SciFact 랭킹에서 최신 기술 성능을 달성하였으며, 문장 수준 검증에서 60.9%의 F1 점수와 추상문 수준 검증에서 67.2%의 F1 점수를 기록하였다.

ABSTRACT

Even for domain experts, it is a non-trivial task to verify a scientific claim by providing supporting or refuting evidence rationales. The situation worsens as misinformation is proliferated on social media or news websites, manually or programmatically, at every moment. As a result, an automatic fact-verification tool becomes crucial for combating the spread of misinformation. In this work, we propose a novel, paragraph-level, multi-task learning model for the SciFact task by directly computing a sequence of contextualized sentence embeddings from a BERT model and jointly training the model on rationale selection and stance prediction.

연구 동기 및 목표

• 낮은 자원 조건에서 과학적 주장에 대한 지원 또는 반박 근거를 검증하는 데 도전하는 것.
• 파이프라인 기반의 사실 검증 시스템에서 오류 전파 문제를 완화하기 위해 추론 선택과 입장 예측을 공동으로 학습하는 것.
• 단일 문장 임베딩 대신 문맥적 정보를 포함한 문단 수준 표현을 활용하여 과학적 사실 검증 성능을 향상시키는 것.
• 낮은 자원 조건에서의 과학적 NLP 환경에서 사전 훈련 및 도메인 적응을 통한 전이 학습의 효과를 평가하는 것.
• 기존의 파이프라인 접근 방식을 능가하는 강력한 종단 간 모델을 개발하는 것.

제안 방법

• 주장과 전체 문단을 하나의 시퀀스로 BERT에 입력하여 압축된 문단 인코딩을 구현함으로써 문장 간 문맥 기반의 주의 메커니즘을 가능하게 함.
• 다중 과제 학습을 적용하여 추론 선택과 입장 예측을 공동으로 학습하며, 추론 선택의 신뢰도 점수를 입장 예측에 대한 주의 가중치로 사용함.
• TF-IDF 대신 도메인 적응된 문장 임베딩 방법을 사용하여 신속하고 확장 가능한 추상문 검색을 수행하기 위해 BioSentVec 임베딩을 활용함.
• 학습 중에 부정 샘플링을 도입하여 잘못된 추상문에 대한 모델의 강인성을 향상시키고 일반화 능력을 강화함.
• 두 가지 전이 학습 전략을 탐색함: FEVER에서의 사전 훈련과 데이터 부족 문제를 완화하기 위한 도메인 적응.
• 동적 주의 메커니즘을 도입하여 추론 선택과 입장 예측 모듈 간의 정보 흐름을 가능하게 하여 과제 간의 상호 연결성을 확보함.

실험 결과

연구 질문

• RQ1 파이프라인 접근 방식과 비교해 볼 때, 추론 선택과 입장 예측을 공동으로 학습하는 것이 사실 검증 성능을 향상시키는가?
• RQ2 전체 문단을 BERT에 입력하는 압축된 문단 인코딩 방식이 개별 문장 인코딩보다 더 풍부한 문맥 표현을 제공하는가?
• RQ3 낮은 자원 조건에서의 과학적 사실 검증에 있어 사전 훈련 및 도메인 적응과 같은 전이 학습 전략의 효과는 어떠한가?
• RQ4 부정 샘플링의 사용이 노이즈가 많거나 잘못된 후보 추상문에 대한 모델의 강인성을 향상시키는가?
• RQ5 문단 수준의 모델이 과학적 주장을 검증하는 과제에서 문장 수준의 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 압축된 문단 인코딩 방법은 개별 문장 임베딩 계산 방식보다 뚜렷이 뛰어나며, BERT의 자기 주의 메커니즘이 문장 간 문맥을 통합함으로써 더 풍부한 문맥 표현을 가능하게 함.
• 부정 샘플링을 통한 공동 학습은 파이프라인 기반 베이스라인 대비 성능 향상을 보이며, 특히 오픈 테스트 세트에서 오류 전파가 감소한 것으로 나타남.
• Paragraph-Joint 모델은 SciFact 랭킹에서 1위를 기록하였으며, 테스트 문장 수준 F1 점수는 60.9%이고 추상문 수준 F1 점수는 67.2%였다.
• 공동 학습으로 인한 성능 향상은 주로 다중 과제 학습 설정 덕분이며, TF-IDF 대신 BioSentVec를 사용한 검색에서의 성능 향상보다 더 큰 기여를 함.
• FEVER에서의 사전 훈련과 도메인 적응은 모두 효과적인 전이 학습 전략이며, 유사한 성능 향상을 기록함으로써 초기화 방법에 대한 강건성을 시사함.
• 강력한 설계에도 불구하고 KGAT는 간단한 주의 메커니즘보다 성능 향상이 뚜렷하지 않음. 이는 작은 SciFact 데이터셋에서 과도한 정규화가 발생했기 때문일 것으로 추정됨.