[논문 리뷰] Review Conversational Reading Comprehension

Hu Xu, Bing Liu외 2명|arXiv (Cornell University)|2019. 02. 03.

Topic Modeling참고 문헌 35인용 수 16

한 줄 요약

이 논문은 온라인 리뷰를 사용하여 다중 전환 고객 질문에 답변하는 새로운 작업인 리뷰 대화형 독해 이해(RCRC)를 소개한다. BERT에 대한 작업 인식 사전 튜닝 방법을 제안하며, 레이블이 지정되지 않은 QA 쌍과 리뷰를 활용하여 CoQA에서 감독적 미세조정과 경쟁 가능한 성능을 달성한다. 이는 RCRC 데이터셋에서 레이블이 지정된 데이터가 제한된 경우에도 성능을 발휘한다.

ABSTRACT

Inspired by conversational reading comprehension (CRC), this paper studies a novel task of leveraging reviews as a source to build an agent that can answer multi-turn questions from potential consumers of online businesses. We first build a review CRC dataset and then propose a novel task-aware pre-tuning step running between language model (e.g., BERT) pre-training and domain-specific fine-tuning. The proposed pre-tuning requires no data annotation, but can greatly enhance the performance on our end task. Experimental results show that the proposed approach is highly effective and has competitive performance as the supervised approach. The dataset is available at \url{https://github.com/howardhsu/RCRC}

연구 동기 및 목표

• 비구조화된 온라인 리뷰를 사용하여 제품에 대한 다중 전환 고객 질문에 답변하는 데 도전하는 것.
• 리뷰 기반 질문 응답에서 레이블이 지정된 데이터셋이 작을 경우의 한계를 극복하기 위해 추가적인 레이블링이 필요 없는 사전 튜닝 방법을 도입하는 것.
• 이전 상호작용의 맥락을 동적으로 이해하여 후속 질문에 답변할 수 있는 대화형 독해 이해 에이전트를 개발하는 것.
• 비용이 많이 드는 인간 레이블링이 필요한 QA 데이터에 의존하지 않고 일반 언어 사전 훈련과 도메인 특화된 RCRC 간 격차를 메우는 것.

제안 방법

• BERT 사전 훈련과 도메인 특화된 미세조정 사이에 새로운 작업 인식 사전 튜닝 단계를 제안하며, 레이블이 지정되지 않은 리뷰 텍스트와 QA 쌍 데이터만을 사용한다.
• 기존 질문과 답변, 현재 질문, 리뷰 텍스트를 하나의 입력 시퀀스로 통합하는 텍스트 입력 형식을 설계한다.
• 두 단계 훈련 프로세스를 적용한다: 먼저 일반 QA 쌍과 리뷰에서 작업 인식을 주입하기 위해 사전 튜닝을 수행하고, 그 다음 RCRC 데이터셋에서 미세조정을 수행한다.
• 알고리즘 1을 사용하여 사전 튜닝을 위한 관련 QA 쌍과 리뷰를 샘플링하며, 초모수는 검증 세트를 통해 튜닝한다.
• 최대 시퀀스 길이 256, 컨텍스트+질문 길이 최대 96 토큰으로 BERT-base를 사용하고, 사전 튜닝 동안 10,000 스텝 동안 훈련한다.
• 턴 단위 정확도 매칭(EM) 및 F1 점수를 평가 지표로 사용하며, DrQA 및 CoQA에서 미세조정된 BERT와 같은 감독 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 레이블이 지정되지 않은 RCRC 데이터가 없는 사전 튜닝 방법이 자원이 제한된 RCRC 작업에서 성능을 크게 향상시킬 수 있는가?
• RQ2 작은 RCRC 데이터셋에서 BERT를 직접 미세조정하는 것과 비교해 작업 인식 사전 튜닝은 어떤가?
• RQ3 일반 QA 쌍과 리뷰에서 사전 튜닝하는 것이 리뷰만으로 직접 미세조정하는 도메인 적응보다 성능이 뛰어나게 되는가?
• RQ4 예를 들어 CoQA에서 사전 훈련된 모델이 레이블이 지정되지 않은 데이터만을 사용하는 사전 튜닝 방법에 의해 뛰어나질 수 있는가?
• RQ5 제안된 RCRC 시스템의 주요 오류 패턴은 무엇이며, 어디에서 실패하는가?

주요 결과

• 제안된 BERT+사전 튜닝 방법은 노트북 도메인에서 46.0% EM 및 57.23% F1을 기록하여, RCRC 데이터셋에서 직접 미세조정된 BERT(38.57% EM, 48.67% F1)보다 EM 점수에서 7.4% 포인트 향상되었다.
• BERT+사전 튜닝은 레스토랑 도메인에서 54.57% EM 및 64.43% F1을 기록하여, 직접 BERT 미세조정(46.87% EM, 55.07% F1)보다 7.7% 향상되었다.
• 사전 튜닝 방법은 108,000개의 레이블이 지정된 전환을 사용하는 감독 기반 BERT+CoQA와 경쟁 가능한 성능을 달성했으며, 이는 RCRC에 대한 레이블이 전혀 필요로 하지 않았다.
• 사전 튜닝 방법은 도메인 적응 전용인 BERT+리뷰보다 성능이 뛰어나며, 이는 성능 저하(34.53% EM 대비 38.57% EM)를 보여 주어 도메인 전용 미세조정만으로는 부족함을 시사한다.
• 오류 분석 결과, 스파니시드 추출의 위치와 경계 예측이 주요 실패 원인임을 확인하여 스파니시드 추출 정확도 향상에 여전히 개선 여지가 있음을 시사한다.
• 사전 튜닝 단계는 RCRC 데이터가 제한된 경우에도 효과적이며, 이는 작업 인식 사전 튜닝이 사전 훈련과 최종 작업 간 격차를 크게 줄일 수 있음을 보여준다.