[論文レビュー] Active Learning Helps Pretrained Models Learn the Intended Task

Alex Tamkin, Dat Tien Nguyen+3 more|arXiv (Cornell University)|Apr 18, 2022

Machine Learning and Algorithms被引用数 14

ひとこと要約

この論文は、事前学習モデルが、たとえばレアな属性や非典型な背景といったタスクの曖昧さを解消する例を自律的に特定することで、アドホックラーニングにおいて非事前学習モデルを著しく上回ることを示している。その結果、同等の性能を得るためのラベル付き例の数を最大5倍まで削減できる。この向上は、表現空間における曖昧さを解消する特徴の線形分離性を向上させる事前学習に起因する。

ABSTRACT

Models can fail in unpredictable ways during deployment due to task ambiguity, when multiple behaviors are consistent with the provided training data. An example is an object classifier trained on red squares and blue circles: when encountering blue squares, the intended behavior is undefined. We investigate whether pretrained models are better active learners, capable of disambiguating between the possible tasks a user may be trying to specify. Intriguingly, we find that better active learning is an emergent property of the pretraining process: pretrained models require up to 5 times fewer labels when using uncertainty-based active learning, while non-pretrained models see no or even negative benefit. We find these gains come from an ability to select examples with attributes that disambiguate the intended behavior, such as rare product categories or atypical backgrounds. These attributes are far more linearly separable in pretrained model's representation spaces vs non-pretrained models, suggesting a possible mechanism for this behavior.

研究の動機と目的

• 事前学習モデルが非事前学習モデルと比較して、アドホックラーニングによりタスクの曇りをよりよく解消できるかどうかを調査すること。
• 複数の行動が提供された例と整合するような、不完全または曇った訓練データの課題に対処すること。
• 事前学習が、ユーザーの意図を明確にする情報を含む例を特定・優先する能力をモデルに与える仕組みを調査すること。
• 不確実性サンプリングを用いたアドホックラーニングが、事前学習モデルにおけるデータ効率の向上を測定可能かどうかを検証すること。
• 事前学習モデルにおけるアドホックラーニング性能の向上の背後にあるメカニズムを特定すること。

提案手法

• ラベル付きデータの初期セットと多数のラベルなし例を含むプールベースのアドホックラーニングを用いる。
• 獲得関数として不確実性サンプリング（最小信頼度ヒューリスティック）を適用する：予測信頼度が最も低い例を選択する。
• モデルを初期セットで微調整した後、繰り返しラベルなしプールから最も信頼度が低い予測を獲得する。
• 画像およびテキストデータセットにおいて、同じアドホックラーニングプロトコル下で、事前学習モデルと非事前学習モデルの性能を比較する。
• 曖昧さを解消する属性（例：希少な製品カテゴリ、非典型的な背景）の線形分離性を評価するために表現空間を分析する。
• 事前学習モデルから得られる補正済み不確実性推定値を用いて、情報量の多い曇った例の選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルは、アドホックラーニングを通じて非事前学習モデルを上回ってタスクの曇りを解消できるか？
• RQ2 事前学習モデルは、アドホックラーニング中にどのような例を選択するのか？そして、それらがなぜより情報量が多いのか？
• RQ3 事前学習は、希少な属性や非典型的な背景といった曇りを解消する特徴の特定をより良く可能にするか？
• RQ4 事前学習モデルにおける向上したアドホックラーニング性能は、事前学習プロセスの副産物的性質（エメrgent property）であるか？
• RQ5 事前学習モデルと非事前学習モデルの表現空間における曇りを解消する属性の線形分離性には、どのように差があるか？

主な発見

• 事前学習モデルは、ランダムサンプリングと比較して、必要なラベル数を最大5倍まで削減し、同等の性能を達成できる。
• 固定されたラベル予算下で、事前学習モデルはランダムサンプリングと比較して、絶対的な正確度を+11%向上させる。
• アドホックラーニングは非事前学習モデルには恩恵をもたらさないか、むしろ悪影響を及ぼすことがあり、改善されたアドホックラーニングは事前学習の副産物的性質であることを示している。
• この向上は、事前学習モデルが、たとえば赤い四角形と青い円形のデータセットにおいて青い四角形のような希少または非典型的な属性を持つ例を特定できる能力に起因する。
• これらの曇りを解消する属性は、非事前学習モデルと比較して、事前学習モデルの表現空間においてははるかに線形分離性が高くなっている。
• 事前学習モデルはより補正された不確実性推定値を生成し、曇った入力をよりよくラベル付けするための選択が可能になる。