[論文レビュー] Domain adaptive training BERT for response selection

Taesun Whang, Dongyub Lee+4 more|arXiv (Cornell University)|Aug 13, 2019

Topic Modeling参考文献 14被引用数 29

ひとこと要約

本稿では、検索ベースの対話システムにおけるマルチターン応答選択のため、ドメイン適応的ファインチューニングを適用したBERTの提案を行う。Ubuntuコーパスやアドバイジングコーパスなどのドメイン固有コーパス上でBERTを事後学習することで、モデルはドメイン固有の文脈表現を学習し、2つのベンチマークデータセットでそれぞれ5.9%および6%の相対的向上を達成し、最先端の性能を実現した。

ABSTRACT

We focus on multi-turn response selection in a retrieval-based dialog system. In this paper, we utilize the powerful pre-trained language model Bi-directional Encoder Representations from Transformer (BERT) for a multi-turn dialog system and propose a highly effective post-training method on domain-specific corpus. Although BERT is easily adopted to various NLP tasks and outperforms previous baselines of each task, it still has limitations if a task corpus is too focused on a certain domain. Post-training on domain-specific corpus (e.g., Ubuntu Corpus) helps the model to train contextualized representations and words that do not appear in general corpus (e.g.,English Wikipedia). Experiment results show that our approach achieves new state-of-the-art on two response selection benchmark datasets (i.e.,Ubuntu Corpus V1, Advising Corpus) performance improvement by 5.9% and 6% on Recall@1.

研究の動機と目的

• 一般ドメインで事前学習されたBERTのドメイン固有対話コーパスへの対応の限界を解決すること。
• ドメイン固有の語彙や文脈が重要なマルチターン対話システムにおける応答選択性能を向上させること。
• 再訓練を必要とせず、ドメイン固有の言語パターンにBERTを適応させる事後学習戦略を開発すること。
• ドメイン適応的ファインチューニングを用いて、標準的な応答選択ベンチマークで最先端の結果を達成すること。

提案手法

• Ubuntuコーパスやアドバイジングコーパスなどのドメイン固有対話コーパス上でBERTの事後学習（継続的事前学習）を実施する。
• 対照的学習の目的関数を用いて、ドメイン適応的BERTモデルを応答選択タスクでファインチューニングする。
• ドメイン固有の事後学習中にマスクされた言語モデル化と次文予測の目的関数を活用する。
• BERTの双方向アテンションを活用して、マルチターン対話履歴および候補応答の文脈表現を学習する。
• 一般ドメインで事前学習されたBERTアーキテクチャを維持しつつ、ドメイン固有の語彙とフレーズパターンに適応する。
• 一般コーパス（例：英語Wikipedia）に存在しないレア語彙やドメイン固有のトークンの表現を向上させるために、ドメイン固有データで学習する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有対話コーパス上でBERTを事後学習することで、マルチターン対話システムにおける応答選択性能が向上するか？
• RQ2 一般ドメインで事前学習されたBERTに対する標準的ファインチューニングと比較して、ドメイン適応的ファインチューニングは応答選択においてどのように優れているか？
• RQ3 ドメイン固有の事後学習が、文脈やドメイン固有用語を捉える能力をどの程度向上させるか？
• RQ4 ドメイン適応が標準的な応答選択ベンチマークで測定可能な改善をもたらすか？

主な発見

• 提案されたドメイン適応的トレーニング手法は、UbuntuコーパスV1ベンチマークでRecall@1に5.9%の相対的向上を達成した。
• アドバイジングコーパスでは6%の相対的向上を達成し、ドメインを問わず一貫した向上が確認された。
• 以前の最先端手法を上回る性能を発揮し、ドメイン固有の事後学習の有効性を裏付けた。
• ドメイン適応的ファインチューニングにより、一般ドメイン事前学習データに存在しないドメイン固有の言語パターンやレアトークンをBERTがより良く捉えるようになった。
• ドメイン固有コーパスが一般ドメインコーパスよりも小さい場合でも有効であることが示され、サンプル効率の高さが顕著になった。
• 向上の要因は、ドメイン固有語や対話構造の文脈表現の向上に起因すると考えられる。