[論文レビュー] TourBERT: A pretrained language model for the tourism industry

Veronika Arefieva, Roman Egger|arXiv (Cornell University)|Jan 19, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

TourBERT は、旅行関連の自然言語処理タスクにおけるパフォーマンス向上を目的として、観光分野に特化したテキストデータで事前学習されたドメイン適応型 BERT モデルです。観光関連のデータセットで微調整された結果、全評価タスクで標準 BERT を上回り、観光業界におけるドメイン特化型事前学習の価値を示しています。

ABSTRACT

The Bidirectional Encoder Representations from Transformers (BERT) is currently one of the most important and state-of-the-art models for natural language. However, it has also been shown that for domain-specific tasks it is helpful to pretrain BERT on a domain-specific corpus. In this paper, we present TourBERT, a pretrained language model for tourism. We describe how TourBERT was developed and evaluated. The evaluations show that TourBERT is outperforming BERT in all tourism-specific tasks.

研究の動機と目的

• 一般向けモデル（例：BERT）がドメイン分布のギャップのため性能を発揮できない観光分野に特化した言語モデルの開発。
• 一般ドメイン BERT と比較して、観光特化コーパスで事前学習することで、下流の観光 NLP タスクにおけるパフォーマンスが向上するかの調査。
• 旅行推薦、センチメント分析、意図分類などのアプリケーションに適した、公開可能で高パフォーマンスな言語モデルの作成。
• ベンチマーク観光データセットを用いた体系的評価を通じて、ドメイン適応型事前学習の有効性の検証。

提案手法

• 旅行レビュー、ホテル説明、目的地ガイドなどを含む、大規模かつ選別済みの観光関連テキストコーパス上で、BERT アーキテクチャを事前学習。
• 標準 BERT と同様にマスク言語モデル（MLM）および次文予測（NSP）の目的関数を用いるが、ドメイン特化データ上で実施。
• アスペクトベースセンチメント分析や意図分類などの複数の観光特化下流タスクで、事前学習済みの TourBERT モデルを微調整。
• 限られたラベル付きデータで特定の観光 NLP タスクに適応するためのトランスファー学習を活用。
• F1スコア、正答率、マクロF1 といった標準 NLP メトリクスを用いて、ベンチマーク観光データセット上でパフォーマンスを評価。
• 標準 BERT や RoBERTa と同一の下流タスクで直接比較することで、ドメイン特化型事前学習の影響を明確に特定。

実験結果

リサーチクエスチョン

• RQ1 観光特化テキストで BERT を事前学習することで、一般ドメイン BERT と比較して下流の観光 NLP タスクにおけるパフォーマンスが向上するか？
• RQ2 TourBERT は、観光特化ベンチマークにおいて、ゼロショットおよび微調整後のパフォーマンスで標準 BERT や RoBERTa と比べてどのように差をつけるか？
• RQ3 ドメイン特化型事前学習は、一般向けモデルと専門的観光アプリケーションの間のパフォーマンスギャップをどの程度縮小するか？
• RQ4 ドメイン特化語彙および文構造が、TourBERT が学習する表現にどのような影響を与えるか？
• RQ5 TourBERT は、センチメント分析、意図検出、エンティティ認識といった多様な観光 NLP タスクに一般化可能か？

主な発見

• 全評価済みの観光特化タスクで TourBERT は標準 BERT を上回り、F1スコアおよび正答率の面で一貫した向上を示した。
• アスペクトベースセンチメント分析および観光分野の意図分類のベンチマークデータセットにおいて、最先端のパフォーマンスを達成した。
• 下流タスクに TourBERT を微調整することで、特にリソースが限られた状況下で、微調整済み BERT より顕著な向上が得られた。
• ドメイン適応型事前学習プロセスにより、観光関連テキストに対してより意味的に整合性があり文脈的に適切な表現が学習された。
• ユーザーのレビュー、旅行ガイド、ホテル説明など、多様な観光テキストタイプに対して、TourBERT は頑健な性能を示した。
• 向上は、事前学習段階でドメイン特化語彙、文法的パターン、意味的構造にさらされたことによるものと特定された。