[論文レビュー] Avoiding Your Teacher's Mistakes: Training Neural Networks with Controlled Weak Supervision

Mostafa Dehghani, Aliaksei Severyn+2 more|arXiv (Cornell University)|Nov 1, 2017

Machine Learning and Data Classification参考文献 33被引用数 29

ひとこと要約

本稿では、弱教師ありデータを用いた学習を改善するために、ターゲットニューラルネットワークと信頼度ネットワークを同時に学習するマルチタスク学習フレームワークを提案する。信頼度ネットワークは、少数の真のラベルを用いて学習され、弱ラベルからの勾配更新の重みを動的に制御することで、ノイズの多いラベルによる有害な更新を低減する。その結果、文書ランク付けおよびセンチメント分類タスクにおいて、標準的なファインチューニングに比べて収束が速く、性能が向上する。

ABSTRACT

Training deep neural networks requires massive amounts of training data, but for many tasks only limited labeled data is available. This makes weak supervision attractive, using weak or noisy signals like the output of heuristic methods or user click-through data for training. In a semi-supervised setting, we can use a large set of data with weak labels to pretrain a neural network and then fine-tune the parameters with a small amount of data with true labels. This feels intuitively sub-optimal as these two independent stages leave the model unaware about the varying label quality. What if we could somehow inform the model about the label quality? In this paper, we propose a semi-supervised learning method where we train two neural networks in a multi-task fashion: a "target network" and a "confidence network". The target network is optimized to perform a given task and is trained using a large set of unlabeled data that are weakly annotated. We propose to weight the gradient updates to the target network using the scores provided by the second confidence network, which is trained on a small amount of supervised data. Thus we avoid that the weight updates computed from noisy labels harm the quality of the target network model. We evaluate our learning strategy on two different tasks: document ranking and sentiment classification. The results demonstrate that our approach not only enhances the performance compared to the baselines but also speeds up the learning process from weak labels.

研究の動機と目的

• 真のラベルが限られた状況で、大規模な弱ラベル付きデータを用いて深層ニューラルネットワークを学習する課題に対処すること。
• 学習中にノイズや信頼性の低い弱ラベルが引き起こす性能の低下を軽減すること。
• 低信頼度の弱教師信号をフィルタリングすることで収束を加速すること。
• タスク固有の表現学習と信頼度推定の両方を、1つの統合された学習プロセスで統合すること。
• 多様なNLPおよび情報検索タスクにおいて、制御された弱教師あり学習の有効性を示すこと。

提案手法

• ターゲットネットワークは、ヒューリスティックまたは自動化された弱ラベラーによって弱ラベルが付与された大規模なインスタンス群上で学習される。
• 信頼度ネットワークは、高品質な人間ラベル付きの少数の例を用いて学習され、弱ラベルの信頼性を予測する。
• 信頼度ネットワークは、インスタンスごとのスコアを出力し、バックプロパゲーション中にターゲットネットワークへの勾配更新の大きさを調整する。
• ターゲットネットワークのパラメータは、重み付き損失関数を用いて更新される：$\boldsymbol{w}_{t+1} = \boldsymbol{w}_t - \frac{l_t}{b}\sum_{i=1}^{b}c_{\theta}(\tau_i,\tilde{y}_i)\nabla\mathcal{L}(f_{\boldsymbol{w}_t}(\tau_i),\tilde{y}_i) + \nabla\mathcal{R}(\boldsymbol{w}_t)$、ここで$c_{\theta}$は信頼度スコアを表す。
• ターゲットネットワークと信頼度ネットワークは共通の表現層を共有しており、共同最適化と双方向の通信を可能にする。
• 本手法は半教師あり設定で動作し、弱ラベルを大規模に活用すると同時に、真のラベルは監視品質のキャリブレーションにのみ使用される。

実験結果

リサーチクエスチョン

• RQ1 真のラベルの少数を用いて学習された信頼度ネットワークは、ターゲットネットワークの学習中に、ノイズの多い弱ラベルからの有害な更新を効果的にフィルタリングできるか？
• RQ2 信頼度スコアによる勾配更新の制御は、弱ラベルを用いた標準的なファインチューニングに比べ、収束を速くするか？
• RQ3 提案手法は、弱ラベルのみを用いたベースラインに比べて、検証およびテストセットにおける一般化性能をどの程度向上させるか？
• RQ4 ターゲットネットワークと信頼度ネットワークの共同学習は、教師-生徒 distillation や擬似ラベル付けと比較して、低監視環境下でどのように性能を発揮するか？
• RQ5 制御された弱教師あり学習は、従来の2段階の事前学習とファインチューニングパイプラインに比べ、どのような状況で優れているか？

主な発見

• 本手法である制御された弱教師あり学習（CWS）は、文書ランク付けおよびセンチメント分類タスクにおいて、弱教師あり学習のみ（WSO）に比べて収束が速い。
• 検証セットでは、CWSはWSOに比べて損失の低下が速く、弱ラベルの不完全性への過剰適合が抑えられていることが示された。
• CWSは、訓練インスタンス数を著しく減らしても、弱ラベラーの性能を上回り、有効な知識の転送が実現している。
• 信頼度ネットワークは、信頼性の低い弱ラベルを効果的に特定し、パラメータ更新への影響を低減させ、モデルのロバスト性を向上させた。
• ターゲットネットワークと信頼度ネットワークの共同学習により、真のラベルが少数しかない状況でも、標準的なファインチューニングに比べてテスト精度が向上した。
• 実験的結果から、信頼度スコアによる勾配更新の制御が、モデルの一般化性能を向上させ、ノイズ由来の性能低下を低減することが確認された。