[論文レビュー] Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods

Daniel Y. Fu, Mayee F. Chen+4 more|arXiv (Cornell University)|Feb 27, 2020

Machine Learning and Data Classification参考文献 56被引用数 17

ひとこと要約

この論文では、潜在変数推定を一連の閉形式三重項問題に再定式化することで、ラベルモデルの学習を加速する弱教師付き学習フレームワークであるFlyingSquidを紹介する。従来の方法に比べて170倍高速にパラメータ推定が可能であり、SGDのチューニングや反復最適化を必要とせず、ベンチマークおよび動画分析タスクで最先端の性能を達成している。

ABSTRACT

Weak supervision is a popular method for building machine learning models without relying on ground truth annotations. Instead, it generates probabilistic training labels by estimating the accuracies of multiple noisy labeling sources (e.g., heuristics, crowd workers). Existing approaches use latent variable estimation to model the noisy sources, but these methods can be computationally expensive, scaling superlinearly in the data. In this work, we show that, for a class of latent variable models highly applicable to weak supervision, we can find a closed-form solution to model parameters, obviating the need for iterative solutions like stochastic gradient descent (SGD). We use this insight to build FlyingSquid, a weak supervision framework that runs orders of magnitude faster than previous weak supervision approaches and requires fewer assumptions. In particular, we prove bounds on generalization error without assuming that the latent variable model can exactly parameterize the underlying data distribution. Empirically, we validate FlyingSquid on benchmark weak supervision datasets and find that it achieves the same or higher quality compared to previous approaches without the need to tune an SGD procedure, recovers model parameters 170 times faster on average, and enables new video analysis and online learning applications.

研究の動機と目的

• SGD やギブスサンプリングなどの反復的最適化に依存する従来の弱教師付き学習手法の計算非効率性を解消すること。
• 動画や時間的依存性を持つストリーミングデータなど、高次元で複雑なデータに対する高速かつスケーラブルな弱教師付き学習を可能にすること。
• 弱教師付き学習における潜在変数モデルのパラメータに対して閉形式解を得る手法を開発し、反復的ハイパーパrameterチューニングの必要性を排除すること。
• モデル不適合の下での一般化誤差の境界を証明し、情報理論的下界を用いてサンプル最適性を確立すること。
• 閉形式三重項推定の高速性を活用して、ウィンドウベースのパラメータ更新によりオンライン学習を可能にすること。

提案手法

• ラベルソースの三重組み合わせを形成することで、潜在変数モデル推定を最小限の部分問題に分解し、閉形式解を持つ方程式系の解法に帰着する。
• 二値イジングモデルの一種に対して、三重組みの一致・不一致から線形方程式系を導出し、反復的最適化を一切用いずに直接解く。
• すべての可能な三重組みに対する中央値または平均集約を用いることで、特に一部のソースが例をラベル付けしない高棄却率状況でもロバスト性を向上させる。
• 下流の判別モデルの学習ループにパラメータ推定を統合し、エンドツーエンドの共同学習を可能にする。
• データのスライディングウィンドウを維持し、各ステップで閉形式三重項解を用いて再推定することで、オンライン学習をサポートする。
• ベンチマークデータセットおよび動画分析タスクでの実験により、本手法の高速性と正確性の優位性が実証されている。

実験結果

リサーチクエスチョン

• RQ1 弱教師付き学習における潜在変数モデルのパラメータに対して、SGD などの反復的最適化を必要としない閉形式解を得ることは可能か？
• RQ2 モデル不適合の下で、FlyingSquid で学習されたモデルの一般化誤差は、完全教師あり学習と比べてどの程度か？
• RQ3 動画シーケンスのように時間的依存性を持つ高次元データに対して、本フレームワークはスケーラブルか？ かつての手法が遅すぎるとされる状況でも？
• RQ4 単一三重組選択と比較して、三重組ベースの集約は、ノイズが多いまたは棄却が多いラベルソースに対して性能が向上するか？
• RQ5 ストリーミング環境における低遅延のパラメータ更新を可能にするオンライン学習を、本フレームワークはサポートできるか？

主な発見

• FlyingSquid は、従来の弱教師付き学習手法に比べて平均で170倍高速なパラメータ推定を達成し、SGDハイパーパrameterチューニングを一切必要としない。
• ベンチマークテキスト分類タスクにおいて、FlyingSquid は以前の最先端性能と同等またはそれを上回っており、F1スコアが最大4.9ポイント向上した。
• 平均集約を用いることで、高棄却率状況でも強力な性能を維持しており、多くの三重組みが正答率0を示す状況でも中央値よりもロバストである。
• アブレーションスタディの結果、棄却をランダムな予測に置き換えると性能が著しく低下し、単一三重組選択では高い分散と不安定性が生じることが判明した。
• FlyingSquid は、トレーニングループ内でリアルタイムのパラメータ更新を可能にすることで、動画分析やオンライン学習における新規応用を可能にした。
• 理論的分析により、一般化誤差が教師あり学習と同程度の漸近的割合で増加することが確認され、定数係数の違いを除き、サンプル最適性を満たしている。