[論文レビュー] Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection

Alexandre Rochette, Yadollah Yaghoobzadeh+1 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 12被引用数 9

ひとこと要約

本稿では、StackExchangeフォーラムにおける低リソースな重複質問検出（DQD）の性能を向上させるために、BERT向けの2段階の教師なしドメイン適応手法を提案する。まず、ラベルなしフォーラムデータを用いた自己教師付き事前学習によりBERTをターゲットドメインに適応させる。次に、限られたラベル付きDQDデータを用いて微調整する。この手法は、特にラベル付きデータが極めて少ない状況でも顕著に性能を向上させ、標準的なBERTやベースラインモデルを上回る。

ABSTRACT

Answering questions is a primary goal of many conversational systems or search products. While most current systems have focused on answering questions against structured databases or curated knowledge graphs, on-line community forums or frequently asked questions (FAQ) lists offer an alternative source of information for question answering systems. Automatic duplicate question detection (DQD) is the key technology need for question answering systems to utilize existing online forums like StackExchange. Existing annotations of duplicate questions in such forums are community-driven, making them sparse or even completely missing for many domains. Therefore, it is important to transfer knowledge from related domains and tasks. Recently, contextual embedding models such as BERT have been outperforming many baselines by transferring self-supervised information to downstream tasks. In this paper, we apply BERT to DQD and advance it by unsupervised adaptation to StackExchange domains using self-supervised learning. We show the effectiveness of this adaptation for low-resource settings, where little or no training data is available from the target domain. Our analysis reveals that unsupervised BERT domain adaptation on even small amounts of data boosts the performance of BERT.

研究の動機と目的

• コミュニティフォーラム（例：StackExchange）における重複質問検出（DQD）の課題に取り組むこと。特に、ラベル付きデータが乏しいもしくは存在しない状況を想定する。
• ラベルなしフォーラムデータを用いてドメイン固有の言語パターンにBERTを適応させることで、DQDにおける一般化性能を向上させること。
• 少量のターゲットドメインデータを用いた教師なしドメイン適応が、DQDの性能向上に寄与するかどうかを検証すること。
• 同じドメイン内および異種ドメイン（例：Quora や Academia など）を含む、ドメイン内およびドメイン間設定の両方において、ドメイン適応の有効性を評価すること。
• ラベル関数の違い（例：Quora と SE）がドメイン適応およびモデルの一般化性能に与える影響を理解すること。

提案手法

• ターゲットドメインのラベルなしデータを用いて、マスク言語モデルと次文予測という自己教師付き目的を用いて、ターゲットドメインのフォーラムデータ上でBERTを微調整する。その後、下流タスクの微調整に移る。
• 2段階のプロセスを適用する：(1) ターゲットドメインのテキストを用いた教師なしドメイン適応、(2) ラベル付きDQDペアを用いた教師あり微調整。
• StackExchangeのドメイン固有のラベルなしデータを用いてBERTを適応させ、たとえ数百〜数万文字程度のデータでも効果的に適応可能である。
• 異なるラベル関数（例：Quora）を持つソースドメインから転移する際、重みを固定するか微調整するかの両方を比較する。
• ドメイン適応後に、交差エントロピー損失を用いてラベル付き質問ペアでDQDモデルを学習する。
• 5つのStackExchangeドメインおよび2つの外部データセット（Quora, Academia）を評価対象とし、F1およびAUC指標を用いて性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 少量のラベルなしフォーラムデータを用いたBERTの教師なしドメイン適応が、低リソース環境下でのDQD性能を向上させ得るか？
• RQ2 Quora（高レベルの語彙的重複をもつネガティブペアを用いる）のような異なるラベル関数を持つソースドメインから、AskUbuntuのようなターゲットドメインに転移する際、BERTの教師なし適応はDQD性能にどのように影響するか？
• RQ3 多数の多様なStackExchangeドメインにわたるBERTの適応が、新しいターゲットドメインへの一般化性能を向上させるか？
• RQ4 適応後にBERTのパラメータを微調整することが、常に固定するよりも優れているのか。特に、ソースドメインとターゲットドメインのラベル付け戦略が異なる場合に注目する。
• RQ5 低リソースなDQDシナリオにおいて、ドメイン適応済みBERTの性能は、標準的なBERTや従来のLSTMベースのベースラインと比べてどうか？

主な発見

• わずか数万文字程度のラベルなしターゲットドメインデータを用いたBERTの教師なしドメイン適応でも、特に低リソース環境下ではDQD性能が顕著に向上する。
• 適応済みBERTをラベル付きDQDデータで微調整することで、標準的なBERTよりも著しく優れた結果が得られ、特に低リソースドメインでは標準BERTの性能が著しく劣ることが確認された。
• Quora（高語彙的重複ネガティブペアを用いる）からAskUbuntuに転移する際、適応後にBERTの重みを固定した場合、微調整した場合よりも性能が優れていた。これは、ラベル関数の違いに起因する分布の不一致を示唆している。
• 多数の多様なStackExchangeドメインにわたるBERTの適応により、複数のターゲットドメインで性能が向上し、広範なドメイン一般化が可能であることが示された。
• 非コンピュータサイエンス分野のAcademiaドメインでBERTを適応させた場合の性能は、トピック的に類似したSuperUserドメイン（F1: 0.870）と比較してわずかに劣る（F1: 0.854）にとどまり、ラベル関数が類似している場合、トピックの違いに対しても頑健であることが示された。
• 教師なしドメイン適応 followed by 教師あり微調整の組み合わせにより、大規模なラベル付きDQDデータセットへの依存が軽減され、低リソース応用において極めて有効であることがわかった。