[論文レビュー] HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification

Zihan Wang, Peiyi Wang+5 more|arXiv (Cornell University)|Apr 28, 2022

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、ラベル階層知識をソフトプロンプトに統合し、マスクされた言語モデル学習の目的関数と整合させるゼロバウンデッドマルチラベル交差エントロピー損失を用いる階層認識型プロンプトチューニング手法HPTを提案する。HPTは3つのベンチマークデータセットで最先端の性能を達成し、ラベルの不均衡やリソースが限られた状況でも顕著に性能を向上させる。

ABSTRACT

Hierarchical text classification (HTC) is a challenging subtask of multi-label classification due to its complex label hierarchy. Recently, the pretrained language models (PLM)have been widely adopted in HTC through a fine-tuning paradigm. However, in this paradigm, there exists a huge gap between the classification tasks with sophisticated label hierarchy and the masked language model (MLM) pretraining tasks of PLMs and thus the potentials of PLMs can not be fully tapped. To bridge the gap, in this paper, we propose HPT, a Hierarchy-aware Prompt Tuning method to handle HTC from a multi-label MLM perspective. Specifically, we construct a dynamic virtual template and label words that take the form of soft prompts to fuse the label hierarchy knowledge and introduce a zero-bounded multi-label cross entropy loss to harmonize the objectives of HTC and MLM. Extensive experiments show HPT achieves state-of-the-art performances on 3 popular HTC datasets and is adept at handling the imbalance and low resource situations. Our code is available at https://github.com/wzh9969/HPT.

研究の動機と目的

• 事前学習された言語モデル（PLM）におけるマスクされた言語モデル学習と階層的テキスト分類の微調整の間のギャップを解消すること。
• 深さと幅の情報を利用して、ラベル階層構造をソフトプロンプトに組み込むことで、階層とフラットのギャップを埋めること。
• HTCをマルチラベルマスク言語モデルタスクに再定式化することで、マルチラベルとマルチクラスのギャップを解消すること。
• ラベルの不均衡やリソースが限られた階層的テキスト分類のシナリオにおける性能を向上させること。

提案手法

• ラベル階層の深さと幅の情報を符号化する動的仮想テンプレートとラベル語を連続的ソフトプロンプトとして構築する。
• ソフトプロンプトトークンに構造的特徴（深さ、幅）を埋め込むことで、ラベル階層知識をプロンプト設計に統合する。
• 正しいラベルのスコアを高めるとともに、誤ったラベルのスコアを低下させるために、ゼロバウンデッドマルチラベル交差エントロピー損失を採用する。
• 階層的テキスト分類を階層認識型マルチラベルマスク言語モデルタスクに変換することで、PLMの事前学習目的とよりよく整合させる。
• 事前学習済み言語モデルをバックボーンとして用い、知識の保持を図るため、完全微調整ではなくプロンプトチューニングを採用する。
• ラベル予測ヘッドをマスクし、ソフトプロンプトパラメータを最適化することで、プロンプトチューニングモデルを下流のHTCタスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル階層構造を組み込むことで、プロンプトチューニングが階層的テキスト分類に効果的に適応可能か？
• RQ2 階層認識型プロンプト設計は、不均衡なラベル階層において性能をどのように向上させるか？
• RQ3 ゼロバウンデッドマルチラベル交差エントロピー損失は、HTCとマスク言語モデル学習の目的をよりよく一致させられるか？
• RQ4 リソースが限られた状況や長尾ラベルシナリオにおいて、HPTは既存の微調整およびプロンプトベース手法を上回るか？
• RQ5 HPTは階層的テキスト分類における事前学習と微調整のギャップをどの程度軽減するか？

主な発見

• HPTはNYT、RCV1-V2、DBPediaの3つの代表的階層的テキスト分類データセットで最先端の性能を達成した。
• NYTデータセットでは、通常のベースラインモデルが性能を発揮しない中程度の深さ（深さ3および4）のラベルクラスタにおいて、HPTがマクロ-F1スコアを向上させた。
• リソースが限られたラベルに対して、HPTは性能ギャップを顕著に低減し、長尾シナリオにおいて強いロバスト性を示した。
• 訓練データの10％のみを用いたリソースが限られた状況でも、HPTはすべてのベースラインを上回り、標準偏差も低く抑えられており、より高い安定性を示した。
• RCV1-V2では、リソースが限られた状況で、HPTは次善のベースラインより6.09ポイント高いマクロ-F1スコアを達成したのに対し、リソースが十分な状況では2.13ポイントの差にとどまった。