[論文レビュー] Learning to Learn from Weak Supervision by Full Supervision

Mostafa Dehghani, Aliaksei Severyn+2 more|arXiv (Cornell University)|Nov 30, 2017

Machine Learning and Data Classification参考文献 4被引用数 38

ひとこと要約

本稿では、弱いラベル付きデータを用いてターゲットニューラルネットワークを訓練する際、小規模な真のラベルのセットで事前学習された信頼度ネットワークを活用し、ラベルの信頼性に基づいて勾配更新のスケーリングを動的に制御する共同学習フレームワークを提案する。この手法は、標準的なファインチューニングに比べて性能と収束速度を顕著に向上させ、ノイズの多い監視信号をより効果的にフィルタリングすることで、感情分類ベンチマークで最先端の結果を達成する。

ABSTRACT

In this paper, we propose a method for training neural networks when we have a large set of data with weak labels and a small amount of data with true labels. In our proposed model, we train two neural networks: a target network, the learner and a confidence network, the meta-learner. The target network is optimized to perform a given task and is trained using a large set of unlabeled data that are weakly annotated. We propose to control the magnitude of the gradient updates to the target network using the scores provided by the second confidence network, which is trained on a small amount of supervised data. Thus we avoid that the weight updates computed from noisy labels harm the quality of the target network model.

研究の動機と目的

• 真のラベルがわずかにしか入手できない状況で、大規模な弱いラベル付きデータと併せて堅牢なニューラルネットワークを訓練する課題に対処すること。
• トレーニング中にノイズが多いまたは信頼性の低い弱いラベルがモデル性能に与える悪影響を軽減すること。
• 各弱いラベル付き例の推定された信頼度に基づいてその影響を動的に制御することで、一般化性能と収束速度を向上させること。
• 信頼度推定とモデルトレーニングの学習を、1つのエンドツーエンド微分可能なフレームワークに統合すること。

提案手法

• 本手法は、主タスク用のターゲットネットワークとメタラーナーとしての信頼度ネットワークを、マルチタスクの形で同時に学習する。
• 信頼度ネットワークは、人間がラベル付けした小規模なデータセットを用いて、弱いラベルの信頼度スコアを予測するように学習される。
• バックプロpagationの際、ターゲットネットワークの重み更新量は、各インスタンスの信頼度スコアに比例してスケーリングされ、以下の式で表される：$\boldsymbol{w}_{t+1} = \boldsymbol{w}_{t} - \frac{\eta_{t}}{b}\sum_{i=1}^{b}c_{\theta}(x_{i},\tilde{y}_{i})\nabla\mathcal{L}(f_{\boldsymbol{w_{t}}}(x_{i}),\tilde{y_{i}})$。
• トレーニングは、大規模な弱いラベル付きデータセット$U$と小規模な真のラベル付きデータセット$V$のバッチを交互に使用し、共同最適化を実現する。
• 信頼度ネットワークは、インスタンスごとの学習率をキャリブレーションするメタラーナーとして機能し、ノイズの多い監視信号に対して動的フィルタとして機能する。
• 本手法は共同学習の枠組みで適用され、弱いデータからの共有表現学習が信頼度ネットワークの性能を向上させ、別々に学習する場合よりも優れた性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 小規模な真のラベルのセットで事前学習された信頼度ネットワークは、大規模な弱いラベル付きデータからの学習において、モデル性能を顕著に向上させることができるか？
• RQ2 ラベルの信頼度に基づいて勾配更新を動的にスケーリングすることで、標準的なファインチューニングに比べて収束速度が速く、一般化性能が向上するか？
• RQ3 ターゲットネットワークと信頼度ネットワークを共同で学習する場合と、別々に学習する場合とを比較した場合、性能と収束速度にどのような差が生じるか？
• RQ4 本手法は、ラベルを再推定する手法（例：NLI）やヒューリスティックなラベル推定を行う既存手法を上回る性能を発揮できるか？

主な発見

• 提案手法L2LWSは、SemEval-14（0.7362）およびSemEval-15（0.6626）でマクロF1スコアの最先端水準を達成し、すべてのベースライン、包括して最高の報告済みシステムを上回った。
• L2LWSは、弱い監視のみ（WSO）の手法に比べて顕著に性能が向上し、SemEval-14では相対的に6.3%、SemEval-15では6.9%の向上を示した。
• WSOに比べて収束が速く、初期の訓練損失は高かったものの、バリデーション損失がより速やかに減少した。
• 別々に学習するバージョン（L2LWS_ST）は、共同学習バージョンに劣っており、弱いデータからの共有表現学習が信頼度ネットワークの品質を向上させていることが示された。
• NLIベースラインはL2LWSに劣っており、ノイズの多いラベルをフィルタリングする学習が、ラベルマッピングによる補正よりも効果的であることが示された。
• 本手法は、より少ない真のラベル例を用いて弱いアノテーターの性能に匹敵する結果を達成した。これは、限られた監視情報の効率的利用を示している。