[論文レビュー] Does Head Label Help for Long-Tailed Multi-Label Text Classification

Lin Xiao, Xiangliang Zhang+3 more|arXiv (Cornell University)|Jan 24, 2021

Text and Document Classification Technologies参考文献 33被引用数 4

ひとこと要約

本稿では、長尾マルチラベルテキスト分類において、データ豊富なヘッドラベルからデータ貧困なテイルラベルへメタ知識を転送するHead-to-Tail Network (HTTN)を提案する。少サンプルのラベル分類器から多数サンプルのラベル分類器へのパラメータ転送マッピングを学習することで、再訓練なしにテイルラベルの性能を向上させ、3つのベンチマークデータセットで最先端の結果を達成した。特に、2〜6件のトレーニングインスタンスしか持たない極端な長尾ラベルにおいて顕著な向上を示した。

ABSTRACT

Multi-label text classification (MLTC) aims to annotate documents with the most relevant labels from a number of candidate labels. In real applications, the distribution of label frequency often exhibits a long tail, i.e., a few labels are associated with a large number of documents (a.k.a. head labels), while a large fraction of labels are associated with a small number of documents (a.k.a. tail labels). To address the challenge of insufficient training data on tail label classification, we propose a Head-to-Tail Network (HTTN) to transfer the meta-knowledge from the data-rich head labels to data-poor tail labels. The meta-knowledge is the mapping from few-shot network parameters to many-shot network parameters, which aims to promote the generalizability of tail classifiers. Extensive experimental results on three benchmark datasets demonstrate that HTTN consistently outperforms the state-of-the-art methods. The code and hyper-parameter settings are released for reproducibility

研究の動機と目的

• データの偏りがある状況で、テイルラベルが十分なトレーニングデータを持たないため、一般化性能が著しく低下するという課題に対処すること。
• データの不均衡があるにもかかわらず、ヘッドラベルがテイルラベルの堅牢な分類器の学習に有効に寄与できるかどうかを調査すること。
• モデル全体の再訓練なしに、ラベルの依存関係とヘッドからテイルラベルへのメタ知識転送を活用する手法を開発すること。
• 高頻度ラベルに支配されないよう、ヘッドラベルの性能を維持しつつ、テイルラベルの性能を向上させること。

提案手法

• HTTNは、少サンプルのヘッドラベルで訓練された分類器の重みから、多数サンプルのヘッドラベルで訓練された分類器の重みへのマッピングとしてメタ知識を学習する。
• このメタ知識は、$W_{\text{transfer}}$ と表記され、複数のサンプリングされたプロトタイプから抽出され、ラベルカテゴリを横断して一般化可能となる。
• モデルは、$W_{\text{transfer}}$ を用いてテイルラベルの分類器を初期化し、限られたデータでファインチューニングすることで、この知識をテイルラベルに転送する。
• アテンションモジュールを用いて、ヘッドラベルとテイルラベル間のラベル相関をモデル化し、特徴表現と予測精度を向上させる。
• 複数のHTTNインスタンスを、異なるサンプリングされたヘッドプロトタイプを用いてアンサンブル化することで、ロバストネスと多様性を向上させる。
• この手法は、ヘッドラベルの学習のみを必要とし、新しいテイルラベルは事前に学習されたメタ知識を用いて即座に分類可能である。

実験結果

リサーチクエスチョン

• RQ1 ヘッドラベルは、長尾マルチラベルテキスト分類において、リソースが限られたテイルラベルの分類性能を向上させる有用なメタ知識を提供できるか？
• RQ2 ヘッドラベルとテイルラベルの間のラベル依存関係は、マルチラベル学習における知識転送にどのように影響するか？
• RQ3 少サンプルから多数サンプルへの学習への一般的な、クラスに依存しないマッピングを転送することで、テイルラベルでの一般化性能が向上するか？
• RQ4 新しいテイルラベルが導入された場合に、モデル全体の再訓練なしに、提案手法が最先端の性能を達成できるか？
• RQ5 サンプリングされたヘッドプロトタイプの数が、転送知識のロバストネスと一般化性能にどのように影響するか？

主な発見

• HTTNは、3つのベンチマークデータセット（AAPD、RCV1、およびもう一つ）において、7つの最先端のベースラインを常に上回り、特にテイルラベルで顕著な優位性を示した。
• 2〜6件のトレーニングインスタンスしか持たない極端なテイルラベルにおいて、HTTNはゼロでない正例予測を達成したが、JointおよびBBNモデルはすべてのラベルに対してゼロを予測した。
• アンサンブル版のHTTN（EHTTN）が最高の性能を達成し、複数のモデルインスタンスによる多様性とロバストネスの向上を示した。
• サンプリングプロトタイプ数（$S$）を5から20に増やすことでF1スコアが顕著に向上し、より豊富なメタ知識がより良い一般化をもたらすことを示した。
• アテンションモジュールとファインチューニングの両方が不可欠であることが判明した。これらのコンponentを除去すると性能が低下し、ラベル相関を捉える役割と精度向上の寄与が明確になった。
• ラベル数$l_{\text{tail}}$が小さい（すなわち、テイルラベルが少ない）場合、HTTNの性能がより良くなる。これは、より多くのヘッドラベルからより豊富なメタ知識を抽出可能であるためである。