[論文レビュー] Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient

Yekyung Kim|arXiv (Cornell University)|Nov 27, 2020

Machine Learning and Algorithms参考文献 23被引用数 4

ひとこと要約

本稿では、勾配埋め込みの重み付きサンプリングを用いて不確実性と多様性を統合する、新しい順序ラベル付け用アクティブラーニング手法W-BADGEを提案する。シーケンス長に基づく情報性・多様性・費用対効果の高いサンプルの優先順位付けにより、ATISデータセットでは訓練データの15%のみで、ほぼ完全なモデル性能を達成するなど、NERおよびスロットフィリングタスクにおいて不確実性のみまたは多様性のみのベースラインを一貫して上回る。

ABSTRACT

Recently, several studies have investigated active learning (AL) for natural language processing tasks to alleviate data dependency. However, for query selection, most of these studies mainly rely on uncertainty-based sampling, which generally does not exploit the structural information of the unlabeled data. This leads to a sampling bias in the batch active learning setting, which selects several samples at once. In this work, we demonstrate that the amount of labeled training data can be reduced using active learning when it incorporates both uncertainty and diversity in the sequence labeling task. We examined the effects of our sequence-based approach by selecting weighted diverse in the gradient embedding approach across multiple tasks, datasets, models, and consistently outperform classic uncertainty-based sampling and diversity-based sampling.

研究の動機と目的

• Named Entity Recognition (NER) やスロットフィリングなどの順序ラベル付けタスクにおけるデータ効率性の課題に対処すること。
• 不確実性のみに基づくサンプリングによって生じるバッチアクティブラーニングにおけるサンプリングバイアスを軽減すること。この方法は、冗長で類似したサンプルを選びがちである。
• 勾配埋め込みを用いて、予測の不確実性と構造的多様性の両方を、未ラベルデータに統合し、より優れたクエリ選択を実現すること。
• シーケンス長に基づく重み付けによるサンプル選択を導入することで、コスト効率を向上させ、短い（ラベル付けに安価な）シーケンスを優遇すること。
• 複数のデータセット、モデル、および順序ラベル付けタスクにおいて、提案手法の実証的妥当性を検証すること。

提案手法

• 本手法は、モデルの最終層からの各未ラベルシーケンスの勾配埋め込みを計算し、予測の不確実性と表現の多様性を捉える。
• BADGEアルゴリズムを適用して、埋め込み空間内での勾配埋め込み間の距離を最大化することで、多様なバッチサンプルを選択する。
• シーケンス長に反比例するようにスケーリングする新しい重み付け方式を導入し、短いシーケンスを優遇することで、ラベル付けコストを低減する。
• 不確実性と多様性を統合するアプローチとして、勾配ノルムが高く、かつ勾配空間内で幾何的に離れているサンプルを選択する。
• アクティブラーニングは反復的に進行する：各ラウンド後に新規にラベル付けされたデータを用いて、モデルを再訓練する。初期データに過学習しないよう、完全に再初期化することで保証する。
• 本手法は、BiLSTMおよびBiLSTMエンコーダデコーダアーキテクチャを用いて、CoNLL 2003（NER）、ATIS（スロットフィリング）、FMTOD（多言語対応タスク指向）データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 勾配埋め込みにおける不確実性と多様性の統合は、順序ラベル付けタスクのアクティブラーニング性能を向上させることができるか？
• RQ2 シーケンス長に基づく重み付きサンプリングは、性能を損なわせることなくコスト効率を向上させるか？
• RQ3 提案手法は、不確実性のみ（例：BALD）や多様性のみ（例：Coreset）のベースラインと比較して、異なるデータセットやモデルにおいてどのように性能を発揮するか？
• RQ4 アクティブラーニングによって、どの程度ラベル付きデータの必要量を削減しつつ、高いF1スコアを維持できるか？
• RQ5 提案手法は、異なる順序ラベル付けアーキテクチャやタスクタイプにおいても頑健であるか？

主な発見

• W-BADGEは、すべてのデータセットとモデルにおいて、不確実性のみ（例：MNLP、BALD）や多様性のみ（例：Coreset、BADGE）のベースラインを一貫して上回った。
• ATISデータセットでは、W-BADGEが全データで学習されたモデルのF1スコアの98–99%を達成し、ラベル付きデータの15%のみで実現した。
• CoNLL 2003 NERタスクにおいて、W-BADGEは、かつてこのタスクで最先端性能を記録していたBALDを顕著に上回った。
• W-BADGEとベースラインとの性能差は、特に初期の学習ラウンドで顕著に現れ、学習効率の向上が示された。
• W-BADGEは優れた一般化性能を示し、ATIS（スロットフィリング）およびFMTOD（多言語）データセットの両方で、異なるモデルアーキテクチャに対しても良好な性能を発揮した。
• 重み付きサンプリング戦略により、短いシーケンスを優遇することで、性能を劣化させることなくラベル付けコストを効果的に低減した。