[논문 리뷰] Transformer-based Language Models for Factoid Question Answering at BioASQ9b

Urvashi Khanna, Diego Mollá|arXiv (Cornell University)|2021. 09. 15.

Topic Modeling참고 문헌 2인용 수 4

한 줄 요약

이 논문은 BioASQ9b 챌린지에서 사실기반 질문 응답을 위해 미세조정된 ALBERT와 DistilBERT를 평가하며, SQuAD에서의 다중 작업 미세조정 및 점진적 언프리징 기법을 사용한다. 파rameter 수가 적음에도 불구하고 DistilBERT는 테스트 배치 4와 5에서 ALBERT를 앞서며 성능을 냈고, 점진적 언프리징은 표준 미세조정 대비 유의미한 정확도 향상 없이 성능을 냈다.

ABSTRACT

In this work, we describe our experiments and participating systems in the BioASQ Task 9b Phase B challenge of biomedical question answering. We have focused on finding the ideal answers and investigated multi-task fine-tuning and gradual unfreezing techniques on transformer-based language models. For factoid questions, our ALBERT-based systems ranked first in test batch 1 and fourth in test batch 2. Our DistilBERT systems outperformed the ALBERT variants in test batches 4 and 5 despite having 81% fewer parameters than ALBERT. However, we observed that gradual unfreezing had no significant impact on the model's accuracy compared to standard fine-tuning.

연구 동기 및 목표

• 전이 학습을 통해 트랜스포머 기반 모델을 사용하여 생물의학적 QA에서 사실기반 질문 응답을 향상시키기.
• BioASQ9b와 같은 저자원 생물의학 데이터셋에서 다중 작업 미세조정의 영향을 조사하기.
• 표준 미세조정 대비 점진적 언프리징이 사실기반 QA에서 모델 성능 향상에 기여하는지 평가하기.
• BioASQ9b 챌린지에서 더 큰 ALBERT와 더 작고 효율적인 DistilBERT 모델 간의 성능 비교하기.

제안 방법

• SQuAD2.0에서 ALBERT를 미세조정한 후 BioASQ9b에서의 적응을 향상시키기 위해 다중 작업 학습을 사용하여 추가로 미세조정.
• SQuAD1.1에서 DistilBERT를 미세조정한 후, 효율성을 고려해 더 작은 크기의 특성을 활용하여 BioASQ9b에서의 미세조정 수행.
• 미세조정 중 하위 층부터 점진적으로 업데이트하는 방식으로 점진적 언프리징을 적용.
• 점진적 언프리징과의 비교를 위해 표준 미세조정을 기준선으로 사용.
• BioASQ9b 랭킹보드의 여러 테스트 배치에서 평균 역수 순위(MRR)를 사용해 모델 성능 평가.
• 표준 미세조정과의 성능 차이에 대한 통계적 유의성을 평가하기 위해 대응 t-검정 수행.

실험 결과

연구 질문

• RQ1 SQuAD에서의 다중 작업 미세조정이 저자원 생물의학 데이터셋인 BioASQ9b에서의 성능 향상에 기여하는가?
• RQ2 DistilBERT는 ALBERT와 같은 더 큰 모델과 비교해 생물의학적 사실기반 QA에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 이 설정에서 트랜스포머 기반 모델에 대해 점진적 언프리징이 표준 미세조정 대비 MRR 향상에 유의미한 영향을 미치는가?
• RQ4 생물의학 질문 응답에서 모델 크기와 정확도 사이에 성능 트레이드오프가 존재하는가?

주요 결과

• ALBERT 기반 시스템은 테스트 배치 1에서 1위, 테스트 배치 2에서 4위를 기록하여 초기 테스트 세트에서 강력한 성능을 보였다.
• DistilBERT는 테스트 배치 4와 5에서 ALBERT를 앞서며 평균 MRR 0.5399와 0.5171을 기록했고, 파라미터 수가 81% 적음에도 불구하고 성능이 뛰어났다.
• DistilBERT에 점진적 언프리징을 적용한 시스템은 표준 미세조정 대비 MRR에서 통계적으로 유의미한 향상이 없었으며, p-값은 유의미한 차이가 없음을 시사했다.
• 언프리징 변형의 평균 MRR(0.5232)는 표준 미세조정된 DistilBERT(0.5209)보다 약간 높을 뿐이었고, 이는 기법에 실질적인 이득이 없음을 확인했다.
• 이전 연구에서의 BioASQ7b 결과는 현재 결과를 지지하며, 모든 테스트 배치에서 점진적 언프리징이 일관되게 유익하지 않음을 보여주었다.
• 연구 결과에 따르면 효율적인 모델인 DistilBERT는 높은 성능와 낮은 파라미터 수 덕분에 모바일 및 엣지 기반 생물의학 QA 응용 분야에서 실현 가능하다고 제안된다.