[논문 리뷰] A Study of BERT for Non-Factoid Question-Answering under Passage Length Constraints

Yosi Mass, Haggai Roitman외 4명|arXiv (Cornell University)|2019. 08. 19.

Topic Modeling참고 문헌 10인용 수 14

한 줄 요약

이 논문은 문장 길이 제약 조건 하에서 비사실형 질문-답변에 대한 BERT 미세조정을 조사하며, 점별 및 쌍별 학습-순서 정렬 방법을 비교한다. BERT가 256자로 구성된 시퀀스를 사용할 경우 최적의 성능을 달성하며, 주의 기반 분할을 통한 문단 분할은 다소의 정확도 손실만으로도 더 긴 문단을 처리할 수 있음을 발견한다.

ABSTRACT

We study the use of BERT for non-factoid question-answering, focusing on the passage re-ranking task under varying passage lengths. To this end, we explore the fine-tuning of BERT in different learning-to-rank setups, comprising both point-wise and pair-wise methods, resulting in substantial improvements over the state-of-the-art. We then analyze the effectiveness of BERT for different passage lengths and suggest how to cope with large passages.

연구 동기 및 목표

• 엄격한 입력 길이 제약 조건 하에서 BERT의 비사실형 질문-답변에 대한 문단 재순서 정렬 성능을 평가하는 것.
• BERT를 사용한 문단 재순서 정렬에서 점별 및 쌍별 학습-순서 정렬 전략을 비교하는 것.
• 문단 길이가 BERT 표현 품질에 미치는 영향을 분석하고 최적의 시퀀스 길이를 규명하는 것.
• BERT의 512자 제한을 초월하는 문단을 처리하기 위해 분할 및 표현 집합 기법을 개발하고 평가하는 것.
• 길이 제약 조건이 있는 실세계 QA 시스템에 BERT를 구현하는 데 실용적인 지침을 제공하는 것.

제안 방법

• 점별 순서 정렬을 위한 교차 엔트로피 손실을 사용한 쿼리-문단 쌍에 대한 BERT 미세조정(BERT[PW])과 쌍별 순서 정렬을 위한 트리플릿 손실을 사용한 BERT 미세조정(BERTlets)을 수행하였다.
• 점수 평가를 위해 BERT의 [CLS] 토큰 표현을 최종 문장 쌍 임베딩으로 사용하였다.
• 128자 크기의 청크로 문단을 분할하고, 다중 헤드 어텐션을 사용하여 청크 수준의 표현을 문단 수준 표현으로 집계하는 방법을 탐색하였다.
• 최대 풀링과 같은 대안적 집계 방법도 평가하였으며, 어텐션 기반 융합과 유사한 성능을 기록하였다.
• Tesla K40m GPU에서 3 에포크 동안 초기 학습률 2e-5로 Adam 옵timizer를 사용하여 모델을 훈련시켰다.
• 표준 정보 검색 메트릭스인 P@1, MAP, MRR을 사용하여 nfL6, WebAP, WikiPassageQA 세 가지 벤치마크 데이터셋에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 입력 길이 제약 조건 하에서 BERT가 비사실형 문단 재순서 정렬에 어떻게 성능을 발휘하는가?
• RQ2 BERT의 문단 재순서 정렬에서 최적의 시퀀스 길이(SeqLen)는 무엇이며, 이는 문단 길이에 따라 어떻게 변화하는가?
• RQ3 128자 크기의 청크로 분할하고 어텐션 기반 집계를 사용할 경우, BERT의 512자 제한을 초월하는 문단을 효과적으로 처리할 수 있는가?
• RQ4 BERT를 사용한 문단 재순서 정렬에서 점별 및 쌍별 학습-순서 정렬 전략의 성능은 어떻게 비교되는가?
• RQ5 문단 분할을 통한 장문 처리와 재순서 정렬 정확도 유지 사이의 상충 관계는 어떠한가?

주요 결과

• 모든 데이터셋에서 256자로 구성된 시퀀스를 사용한 BERT가 최고의 성능을 기록하였으며, nfL6 데이터셋에서 P@1 기준으로 BM25와 이전 딥러닝 기반 베이스라인보다 최대 120% 높은 성능을 보였다.
• 짧은(64, 128) 및 긴(384) 시퀀스 길이에서는 성능이 저하되었으며, 평균 문단 길이가 긴 WikiPassageQA에서 특히 두드러졌다.
• 128자 크기의 청크로 두 개 또는 세 개로 분할하고 어텐션 기반 집계를 적용할 경우, 512자 초과의 문단 처리가 가능했지만, 전체 길이 처리 대비 다소의 성능 저하가 있었다.
• BERTlets 쌍별 방법이 WikiPassageQA에서 BERT[PW]를 앞서며 MAP=0.74 대비 0.71를 기록했고, WebAP에서는 BERT[PW]가 약간 우수하여 P@1=0.55 대비 0.53를 기록했다.
• 청크 표현의 최대 풀링은 어텐션 기반 융합과 유사한 결과를 기록하여, 단순 풀링이 융합에 대한 타당한 대안임을 시사했다.
• 본 연구는 점별 및 쌍별 미세조정 전략이 유사한 성능을 보이며, 일부 설정에서는 BERTlets가 약간의 우위를 보임을 확인하였다.