[論文レビュー] Active Learning Over Multiple Domains in Natural Language Tasks

Shayne Longpre, Julia Reisler+5 more|arXiv (Cornell University)|Feb 1, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿は、複数の分布外ドメインからのラベルなしデータを供給源とする、マルチドメイン自然言語処理タスクにおけるアクティブラーニングを調査する。$χ$-ダイバージェンス族に属する新しい獲得関数であるDAL-Eを提案し、ドメイン間で多様性があり、有用性の高い例を効果的に選択することで、ランダムベースライン比で平均2-3%の向上を達成する。

ABSTRACT

Studies of active learning traditionally assume the target and source data stem from a single domain. However, in realistic applications, practitioners often require active learning with multiple sources of out-of-distribution data, where it is unclear a priori which data sources will help or hurt the target domain. We survey a wide variety of techniques in active learning (AL), domain shift detection (DS), and multi-domain sampling to examine this challenging setting for question answering and sentiment analysis. We ask (1) what family of methods are effective for this task? And, (2) what properties of selected examples and domains achieve strong results? Among 18 acquisition functions from 4 families of methods, we find H-Divergence methods, and particularly our proposed variant DAL-E, yield effective results, averaging 2-3% improvements over the random baseline. We also show the importance of a diverse allocation of domains, as well as room-for-improvement of existing methods on both domain and example selection. Our findings yield the first comprehensive analysis of both existing and novel methods for practitioners faced with multi-domain active learning for natural language tasks.

研究の動機と目的

• 複数の分布外ドメインがラベルなしデータの供給源となる現実的でないNLP設定におけるアクティブラーニングの課題に対処する。
• 単一ドメインデータを仮定する伝統的なアクティブラーニングの仮定が、マルチドメインで分布シフトが生じる環境では成り立つかどうかを調査する。
• 不確実性、ドメインシフト検出、類似性に基づく手法の3つの分野に分けた獲得関数の有効性を、マルチドメインアクティブラーニングにおいて評価する。
• マルチドメインアクティブラーニングにおいて、ドメイン予算配分戦略と単一プール選択戦略のどちらがより優れたパフォーマンスを示すかを特定する。
• 実務家が効果的な獲得関数を選択し、ドメインと例の選択を適切にバランスさせるための実用的知見を提供する。

提案手法

• 不確実性ベース、$χ$-ダイバージェンス、逆分類精度（RCA）、意味的類似性検出の4つのメソッドファミリーに属する18の獲得関数をベンチマークする。
• モデルのドメイン間での合意の程度を測定し、不確実性を低減するとともに多様性を促進する例を優先する、$χ$-ダイバージェンス族に属する新規バリエーション、DAL-Eを実装する。
• 2つの選択戦略を比較する：単一プール（すべての例を1つのラベルなしプールとして扱う）とドメイン予算配分（各ドメインに固定数の例を割り当てる）。
• 各アクティブラーニングイテレーション後に、質問応答およびセンチメント分析タスクにおけるモデルパフォーマンスを、固定されたアノテーション予算で評価する。
• 最適なドメイン探索実験を実施し、各ターゲットタスクにおける例の最適なドメイン内分布を同定する。
• 例の選択の影響を評価するため、DAL-E*で上位にランク付けされた例で学習したモデルと、同じドメインからのランダム例で学習したモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 NLPタスクにおけるマルチドメインアクティブラーニングで、どの獲得関数ファミリーが最も優れているか？
• RQ2 マルチドメインアクティブラーニングにおけるモデルパフォーマンスの向上に寄与する、選択された例やドメインの特性は何か？
• RQ3 マルチドメインアクティブラーニングにおいて、ドメイン予算配分は単一プール選択よりも効果的か？
• RQ4 ドメイン内での例の選択は、ドメイン選択を上回るパフォーマンス向上にどれほど寄与するか？
• RQ5 最適なドメイン分布を事前に特定できるか？ そのような分布をより正確に予測できると、アクティブラーニングの結果が向上するか？

主な発見

• $χ$-ダイバージェンスファミリー、特に提案されたDAL-Eバリエーションは、複数のNLPタスクにおいてランダムベースライン比で平均2-3%の向上を示し、一貫して優れた性能を発揮する。
• ドメインの多様性が重要な要因である：1つのドメインや少数のドメインに依存するのではなく、多様なソースドメインを選択することで、より強いパフォーマンスが得られる。
• 例の選択が顕著に重要である：DAL-E*で上位にランク付けされた例で学習したモデルは、質問応答タスクで平均+0.46%、センチメント分析タスクで+0.12%の上昇を示した。
• 例の選択が不適切だとパフォーマンスが低下する：DAL-E*で下位にランク付けされた例で学習したモデルは、質問応答タスクで平均-1.64%、センチメント分析タスクで-1.46%の低下を示した。
• ドメイン予算配分戦略は単一プール選択を上回る可能性がある：14回の実験のうち8回で、最適ドメイン分布に従ったランダムサンプリングが、すべてのアクティブラーニングベースラインを上回った。
• 最適ドメイン分布は事前に分かっていなかったため、今後の獲得関数は、このような分布をより正確に予測することで改善できる可能性がある。