[論文レビュー] AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT

Aman Priyanshu, Supriti Vijay|arXiv (Cornell University)|Nov 14, 2022

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

AdaptKeyBERT は、候補語とシード語の埋め込みに正則化されたアテンションを用いた微調整フレームワークを提案する。この手法により、KeyBERT に対して少量学習およびゼロショットのドメイン適応が可能となり、FAO-780 や CERN-290 といった低リソースドメインにおいて、F1 スコアで最大 12.58% の向上を達成。ベースラインの KeyBERT を上回り、完全な再トレーニングなしで効率的な適応が可能である。

ABSTRACT

Keyword extraction has been an important topic for modern natural language processing. With its applications ranging from ontology generation, fact verification in summarized text, and recommendation systems. While it has had significant data-intensive applications, it is often hampered when the data set is small. Downstream training for keyword extractors is a lengthy process and requires a significant amount of data. Recently, Few-shot Learning (FSL) and Zero-Shot Learning (ZSL) have been proposed to tackle this problem. Therefore, we propose AdaptKeyBERT, a pipeline for training keyword extractors with LLM bases by incorporating the concept of regularized attention into a pre-training phase for downstream domain adaptation. As we believe our work has implications to be utilized in the pipeline of FSL/ZSL and keyword extraction, we open-source our code as well as provide the fine-tuning library of the same name AdaptKeyBERT at https://github.com/AmanPriyanshu/AdaptKeyBERT.

研究の動機と目的

• 医療、法曹、高エネルギー物理学など、特殊分野における低リソースのキーワード抽出の課題に対処すること。
• 大規模なラベル付きデータを必要とせずに、効果的な少量学習およびゼロショットのドメイン適応を可能にすること。
• アテンションに基づく埋め込みの精練を通じて、KeyBERT やその他の事前学習済み BERT ベースのモデルのドメイン固有の文脈における性能を向上させること。
• ドメイン適応済みキーワード抽出器の簡単なデプロイと微調整を可能にする、オープンソースで API 連携可能なライブラリを提供すること。

提案手法

• 候補キーワードとシード語の間の類似度重みを計算するために、KeyBERT のトレーニングモジュールに正則化されたアテンションを統合する。
• 可学習パラメータ α ∈ [0,1] で制御される、文書埋め込みとシード語埋め込みの重み付き組み合わせをアテンションで実現する。
• アテンションで計算された重みを用いて候補埋め込みを再構築するハイブリッド損失関数を採用し、ドメインの関連性を向上させる。
• 全データセットの 10% 以上に出現するキーワードを「一般的なキーワード」と定義し、ゼロショット適応用のシード語として使用する。
• 最も頻出するキーワードを含むサンプルを選択することで少量学習適応を実装し、効率性を確保するため、データセットの 10% までに制限する。
• 少量学習およびゼロショットモジュールを統合し、類似度を同時に計算することで、統合的ドメイン適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 アテンションに基づく埋め込み再構築は、低リソースドメインにおけるキーワード抽出性能を向上させ得るか？
• RQ2 少量学習とゼロショット学習の統合は、キーワード抽出におけるドメイン適応をどのように強化するか？
• RQ3 標準的な KeyBERT と比較して、正則化されたアテンションは抽出キーワードの関連性をどの程度向上させるか？
• RQ4 ハイブリッドな少量学習およびゼロショットアプローチは、多様なドメインにおいて個別の適応戦略を上回るか？

主な発見

• FAO-780 データセットにおいて、AdaptKeyBERT は少量学習設定でベースラインの KeyBERT（35.138）から F1 スコアが 12.58% 向上し、39.559 を達成した。
• FAO-780 におけるゼロショット設定では、ベースライン（35.138）から F1 スコアが 7.88% 向上し、37.908 を達成した。
• FAO-780 における少量学習とゼロショットの統合アプローチでは、F1 スコアが 39.938 に達し、ベースライン比 13.66% の向上を達成した。
• CERN-290 データセットでは、少量学習バージョンが F1 スコアを 9.95% 向上（25.627 → 28.177）、統合手法では F1 スコア 28.883 を達成した。
• ゼロショットモジュールでは、CERN-290 で F1 スコアが 3.81% 向上したが、誤検出（偽陰性）の増加によりリコールがわずかに低下した。
• モデルは言語的に複雑なドメインにおいても一貫した一般化性能を示し、低リソース環境における堅牢性が裏付けられた。