[論文レビュー] Train and You'll Miss It: Interactive Model Iteration with Weak Supervision and Pre-Trained Embeddings

Mayee F. Chen, Daniel Y. Fu+6 more|ArXiv.org|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 69被引用数 5

ひとこと要約

この論文では、事前学習された埋め込み表現と弱い監督を組み合わせることで、埋め込み空間内での近接データポイントにラベル投票を拡張することで、高速でインタラクティブな機械学習を可能にするEpoxyという手法を提案する。深層ネットワークの学習を一切行わないにもかかわらず、SOTAの弱い監督モデルと0.7ポイント以内の性能を達成し、0.5秒未塔で学習が可能であり、標準的な弱い監督手法よりも4.1ポイント、微調整なしのトランスファー学習よりも12.8ポイント優れている。

ABSTRACT

Our goal is to enable machine learning systems to be trained interactively. This requires models that perform well and train quickly, without large amounts of hand-labeled data. We take a step forward in this direction by borrowing from weak supervision (WS), wherein models can be trained with noisy sources of signal instead of hand-labeled data. But WS relies on training downstream deep networks to extrapolate to unseen data points, which can take hours or days. Pre-trained embeddings can remove this requirement. We do not use the embeddings as features as in transfer learning (TL), which requires fine-tuning for high performance, but instead use them to define a distance function on the data and extend WS source votes to nearby points. Theoretically, we provide a series of results studying how performance scales with changes in source coverage, source accuracy, and the Lipschitzness of label distributions in the embedding space, and compare this rate to standard WS without extension and TL without fine-tuning. On six benchmark NLP and video tasks, our method outperforms WS without extension by 4.1 points, TL without fine-tuning by 12.8 points, and traditionally-supervised deep networks by 13.1 points, and comes within 0.7 points of state-of-the-art weakly-supervised deep networks-all while training in less than half a second.

研究の動機と目的

• 大規模な手動ラベル付きデータに依存せずに、数秒程度の学習時間で機械学習におけるインタラクティブなモデル反復を可能にすること。
• 弱い監視（WS）の限界である、未観測データポイントへの一般化能力の低さとカバレッジの低さを是正すること。
• WSパイプラインにおける下流の深層ネットワークの高コストな学習が、インタラクティブなタイムスケールを妨げている問題を克服すること。
• 事前学習された埋め込み表現を特徴量としてではなく、局所的なラベル投票の拡張に距離尺度として活用することで、カバレッジと精度を向上させること。
• 微調整やモデル再学習を一切行わず、SOTAの弱い監視付き深層ネットワークと同等の性能を達成すること。

提案手法

• 事前学習された埋め込み表現を用いて、データポイント間の局所的距離関数を定義し、弱い監視の投票を近くのインスタンスに滑らかに拡張可能にする。
• 弱いラベル関数からの投票を、埋め込み空間内の学習済み半径内にあるポイントに拡張し、近接するポイントは同様のラベルを持つと仮定する。
• ラベル分布の滑らかさを確率的リプシッツ性測度を用いてモデル化し、一般化誤差と収束速度の理論的バウンディングを実現する。
• 各ラベル関数ごとに閾値パラメータを調整することで、カバレッジと精度のバランスを最適化し、過剰一般化を回避する。
• 事前学習モデル（例：BERT、ResNet）を用いて一度だけ全データを前処理し、埋め込みとペアワイズ距離を計算することで、高速な推論を実現する。
• 得られた拡張された確率的ラベルを直接予測として使用し、下流の学習を不要にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習された埋め込み表現を用いて弱い監視の投票を拡張することで、モデル性能と一般化誤差にどのような影響を与えるか？
• RQ2 ラベル分布の滑らかさ（リプシッツ性）と投票拡張による性能向上の理論的関係は何か？
• RQ3 Epoxyの性能は、拡張なしの標準的弱い監視手法や微調整なしのトランスファー学習と比べてどうか？
• RQ4 どのような条件下でEpoxyは微調整なしのトランスファー学習を上回り、その理由は何か？
• RQ5 事前学習された埋め込み表現は、微調整やモデル再学習なしで、どの程度高品質な弱い監視を可能にするか？

主な発見

• Epoxyは、6つのベンチマークタスクの平均で、拡張なしの標準的弱い監視手法よりも4.1ポイント優れている。
• Epoxyは、微調整なしのトランスファー学習よりも平均で12.8ポイント優れており、投票拡張による顕著な向上を示している。
• Epoxyは、微調整や学習を一切行わず、SOTAの弱い監視付き深層ネットワークと0.7ポイント以内の性能を達成している。
• Epoxyは1回の反復あたり0.5秒未塔で学習が可能であり、インタラクティブなモデル開発サイクルを可能にしている。
• 性能向上は、事前プール前における事前学習済みと微調整済みの埋め込み表現間の最小類似度と強く相関しており、微調整時の埋め込みシフトが転送性を低下させる可能性を示している。
• アブレーションスタディの結果、すべてのラベル関数に固定の閾値を使用すると性能が低下することが判明し、関数ごとの閾値チューニングの有効性が確認された。