[論文レビュー] Ask2Transformers: Zero-Shot Domain labelling with Pre-trained Language Models

Oscar Sainz, Germán Rigau|arXiv (Cornell University)|Jan 7, 2021

Natural Language Processing Techniques被引用数 11

ひとこと要約

この論文では、微調整を一切行わずにWordNetのsynsetにドメインラベルを割り当てるゼロショットドメインラベル付けシステムであるAsk2Transformersを提案する。自然言語のプロンプトを『文のドメインは[ドメイン]についてである』のように定式化することで、RoBERTa や BERT などのオフザシェルの事前学習モデルを活用し、BabelDomains データセットにおいて92.14%という新たなSOTA F1スコアを達成した。

ABSTRACT

In this paper we present a system that exploits different pre-trained Language Models for assigning domain labels to WordNet synsets without any kind of supervision. Furthermore, the system is not restricted to use a particular set of domain labels. We exploit the knowledge encoded within different off-the-shelf pre-trained Language Models and task formulations to infer the domain label of a particular WordNet definition. The proposed zero-shot system achieves a new state-of-the-art on the English dataset used in the evaluation.

研究の動機と目的

• タスク固有の微調整を一切行わず、事前学習された言語モデルを用いてWordNetのsynsetに対するゼロショットドメインラベル付けを可能にすること。
• 大規模な事前学習モデルに埋め込まれたドメイン知識の転送可能性を検証し、語彙的リソースの拡充に寄与すること。
• 事前に定義されたカテゴリに制限されない、任意のドメインラベルセットをサポートする柔軟なシステムの開発。
• BabelDomains データセット上で本手法を評価し、既存の分布的およびグラフベースの手法と比較すること。
• 本アプローチが多言語ドメインラベル付けにおける潜在的応用および意味解析の分野における将来の応用可能性を検討すること。

提案手法

• 入力としてWordNetの定義を受け取り、仮説を「文のドメインは[ドメインラベル]についてである」とする自然言語プロンプトを定式化する。
• 自然言語推論（NLI）のタスクで微調整済みのオフザシェルの事前学習言語モデル（例：RoBERTa, BERT）を用い、定義とドメイン仮説の間の含意関係を分類する。
• モデル出力から最も高い信頼度スコアを示したドメインラベルを予測ラベルとして割り当てる。
• 一般化性とロバスト性を向上させるために、説明用トークン（例：「a」, 「the」, 「a type of」）を組み込むことで、手法を拡張する。
• 低信頼度予測を低減するため、しきい値ベースのフィルタリング（例：信頼度 > 0.05）を適用する。
• 定義から直接ドメイン関連キーワードを予測する代替手法として、マスキング言語モデル（MLM）を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルは、微調整なしにWordNetのglossesに対するゼロショットドメインラベル付けを実行できるか？
• RQ2 提案手法のプロンプティングベースのアプローチは、BabelDomains データセット上で既存の分布的およびグラフベースの手法と比較して、どのように性能を発揮するか？
• RQ3 再トレーニングなしに、任意のドメインラベルセットに対してどの程度一般化可能か？
• RQ4 異なる事前学習モデルやプロンプティング戦略が、ドメインラベル付けの正確性とロバスト性にどのように影響を与えるか？
• RQ5 モデルは意味的に類似しているが異なるドメイン（例：「生物学」と「食料品と飲料」）を区別できるか？

主な発見

• Ask2Transformers（A2T）システムは、BabelDomains データセットでマイクロ平均F1スコア92.14%を達成し、新たなSOTAを樹立した。
• 最も優れたバリエーション（A2T + descriptors）は、前回のSOTA手法（BabelDomains）と比較してF1スコアで10.52ポイントも向上した。
• 説明用トークンを用いた場合、精度と再現率が両方とも92.14%を維持しており、すべてのクラスにおいてバランスの取れたパフォーマンスを示している。
• 分布的アプローチ（F1: 69.9%）およびBabelDomains（F1: 74.6%）を大きく上回る性能を発揮した。
• 誤り分析の結果、主に意味的に関連するドメイン（例：「動物」と「生物学」や「食料品と飲料」）の間で混同が生じていることが判明した。これは語彙的重複によるものであり、予想される結果である。
• 定性的分析の結果、マスキング言語モデルによる予測は、しばしばドメイン関連のキーワード（例：「相空間」に対して「物理学」）を抽出しており、モデルが微細なドメインの手がかりを捉えていることが示された。