[논문 리뷰] TourBERT: A pretrained language model for the tourism industry

Veronika Arefieva, Roman Egger|arXiv (Cornell University)|2022. 01. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

TourBERT는 여행 관련 자연어 처리 작업에서 성능을 향상시키기 위해 관광 분야에 특화된 텍스트 데이터로 사전 훈련된 도메인 적응형 BERT 모델입니다. 관광 데이터셋으로 미세조정한 결과, 평가된 모든 작업에서 표준 BERT를 능가하며, 관광 산업을 위한 도메인 특화 사전 훈련의 가치를 입증합니다.

ABSTRACT

The Bidirectional Encoder Representations from Transformers (BERT) is currently one of the most important and state-of-the-art models for natural language. However, it has also been shown that for domain-specific tasks it is helpful to pretrain BERT on a domain-specific corpus. In this paper, we present TourBERT, a pretrained language model for tourism. We describe how TourBERT was developed and evaluated. The evaluations show that TourBERT is outperforming BERT in all tourism-specific tasks.

연구 동기 및 목표

• 일반 목적 모델인 BERT가 도메인 분포 격차로 인해 성능이 떨어지는 관광 도메인에 특화된 언어 모델을 개발하기 위해.
• 일반 도메인 BERT와 비교해 관광 전용 코퍼스로 사전 훈련하면, 후행 관광 NLP 작업에서 성능 향상이 이루어지는지 조사하기 위해.
• 여행 추천, 감성 분석, 의도 분류와 같은 응용 분야를 위한 공개 가능하고 고성능의 언어 모델을 구축하기 위해.
• 기준 관광 데이터셋에서 체계적인 평가를 통해 도메인 적응형 사전 훈련의 효과를 검증하기 위해.

제안 방법

• 여행 리뷰, 호텔 설명, 목적지 가이드 등을 포함한 대규모이고 철저히 정제된 관광 관련 텍스트 코퍼스를 기반으로 BERT 기반 아키텍처를 사전 훈련하기 위해.
• 표준 BERT와 유사한 방식으로 마스크된 언어 모델링(MLM)과 다음 문장 예측(NSP) 목적함수를 사용하되, 도메인 특화 데이터에서 수행하기 위해.
• 의견 기반 감성 분석 및 의도 분류와 같은 여러 관광 전용 후행 작업에 대해 사전 훈련된 TourBERT 모델을 미세조정하기 위해.
• 제한된 레이블 데이터로도 특정 관광 NLP 작업에 적응하기 위해 전이 학습을 활용하기 위해.
• 표준 NLP 메트릭인 F1 점수, 정확도, 매크로-F1을 사용해 기준 관광 데이터셋에서 성능 평가하기 위해.
• 도메인 특화 사전 훈련의 영향을 분리하기 위해 동일한 후행 작업에서 TourBERT의 성능을 표준 BERT 및 RoBERTa와 직접 비교하기 위해.

실험 결과

연구 질문

• RQ1 관광 전용 텍스트로 BERT를 사전 훈련하면 일반 도메인 BERT와 비교해 후행 관광 NLP 작업에서 성능 향상이 이루어지는가?
• RQ2 TourBERT는 관광 전용 벤치마크에서 제로샷 및 미세조정 성능 측면에서 표준 BERT 및 RoBERTa와 어떻게 비교되는가?
• RQ3 도메인 특화 사전 훈련은 일반 목적 모델과 전문화된 관광 응용 간의 성능 격차를 어느 정도 줄이는가?
• RQ4 도메인 특화 어휘와 문장 구조는 TourBERT의 학습된 표현에 어떤 영향을 미치는가?
• RQ5 TourBERT는 감성 분석, 의도 탐지, 엔티티 인식과 같은 다양한 관광 NLP 작업으로 일반화되는가?

주요 결과

• TourBERT는 평가된 모든 관광 전용 작업에서 표준 BERT를 능가하며, F1 점수와 정확도에서 일관된 향상을 보였다.
• 의견 기반 감성 분석 및 관광 분야의 의도 분류를 위한 기준 데이터셋에서 최고 성능을 기록했다.
• 저자원 환경에서 후행 작업에 대해 TourBERT를 미세조정하면, 미세조정된 BERT보다 뚜렷한 향상이 이루어졌다.
• 도메인 적응형 사전 훈련 과정은 관광 관련 텍스트에 대해 더 의미적으로 일관되고 맥락에 부합하는 표현을 생성했다.
• TourBERT는 사용자 리뷰, 여행 가이드, 호텔 설명과 같은 다양한 관광 텍스트 유형에서 뛰어난 강건성을 보였다.
• 향상된 성능는 사전 훈련 과정에서 도메인 특화 용어, 문법 패턴, 의미적 구조에 노출된 덕분으로 기인한다.