[論文レビュー] PTR: Prompt Tuning with Rules for Text Classification

Xu Han, Weilin Zhao+3 more|arXiv (Cornell University)|May 24, 2021

Topic Modeling参考文献 36被引用数 27

ひとこと要約

PTR は、複数クラスのテキスト分類のための規則ベースのプロンプト調整フレームワークを導入し、サブプロンプトと論理規則を組み合わせて事前知識を組み込み、関係分類ベンチマークでの性能を向上させる。

ABSTRACT

Fine-tuned pre-trained language models (PLMs) have achieved awesome performance on almost all NLP tasks. By using additional prompts to fine-tune PLMs, we can further stimulate the rich knowledge distributed in PLMs to better serve downstream tasks. Prompt tuning has achieved promising results on some few-class classification tasks such as sentiment classification and natural language inference. However, manually designing lots of language prompts is cumbersome and fallible. For those auto-generated prompts, it is also expensive and time-consuming to verify their effectiveness in non-few-shot scenarios. Hence, it is still challenging for prompt tuning to address many-class classification tasks. To this end, we propose prompt tuning with rules (PTR) for many-class text classification and apply logic rules to construct prompts with several sub-prompts. In this way, PTR is able to encode prior knowledge of each class into prompt tuning. We conduct experiments on relation classification, a typical and complicated many-class classification task, and the results show that PTR can significantly and consistently outperform existing state-of-the-art baselines. This indicates that PTR is a promising approach to take advantage of both human prior knowledge and PLMs for those complicated classification tasks.

研究の動機と目的

• 手作業のプロンプト設計が難しい多クラス分類タスクにおけるプロンプト調整の動機付け。
• 論理規則ベースのサブプロンプトを介して事前知識を組み込むPTRフレームワークの提案。
• サブプロンプトを結合演算子で組み合わせることが、タスク特化型の有効なプロンプトを生み出すことを示す。
• 強力なベースラインに対する関係分類ベンチマークでのPTRの性能向上を実証する。

提案手法

• タスクの事前知識を捉えるための、一元/二元/多変数述語の条件関数集合Fを定義する。
• 各条件関数f ∈ Fに対して、サブプロンプトT_f(·)とラベル語集合V_fを設計する。
• 規則ベースでの結合を用いて、サブプロンプトを最終プロンプトT(x)に統合する。
• 複数のマスク位置とトークンレベルの verbalizers φ を使用して、[MASK]トークンをクラスラベルに写像する。
• 複合プロンプトが与えられたときの正解ラベルの尤度を最大化してモデルを訓練する: 最大化 (1/|X|) Σ_x log ∏_j p([MASK]_j = φ_j(y) | T(x)).
• 効果を評価するために、関係分類データセット TACRED, TACREV, ReTACRED, SemEval 2010 Task 8 を用いて実験を行う。

実験結果

リサーチクエスチョン

• RQ1 規則を通じて事前知識を組み込むことで、PTRは多クラス分類タスクの性能を向上させることができるか。
• RQ2 関係分類ベンチマークにおいて、PTRは標準的なファインチューニングや知識強化型PLMsとどう比較されるか。
• RQ3 関係を反転させることがPTRの性能に与える影響は何か。
• RQ4 少数ショットの状況で、PTRは他のプロンプトベース手法と比較してどのように性能を発揮するか。

主な発見

モデル	TACRED	TACREV	ReTACRED	SEMEVAL
PTR	72.4	81.4	90.9	89.9
PTR (Reversed)	75.9	83.9	91.9	-

• PTRは、通常の(反転されていない)関係設定を用いた場合、TACRED、TACREV、ReTACRED、SemEvalの最先端ベースラインを著しく一貫して上回る。
• 一部の関係を反転させることは、TACRED、TACREV、ReTACREDのデータセットにおいてPTRの大幅な改善をもたらす。
• PTRは、マーカーベースのプロンプトや他のプロンプト調整手法と比較して競争力のあるまたは優れた成果を達成し、追加の人間注釈やニューラル層を必要としない。
• 少数ショット設定では、PTRは一部のベースラインと競合するか、あるいはそれを上回ることがあり、規則ベースのプロンプト設計の効率性を強調する。
• PTRは他のいくつかのプロンプトベースの代替手法と比較しても収束が速いことを示す。