[論文レビュー] Learning from Rules Generalizing Labeled Exemplars

Abhijeet Awasthi, Sabyasachi Ghosh+2 more|arXiv (Cornell University)|Apr 13, 2020

Machine Learning and Data Classification参考文献 34被引用数 23

ひとこと要約

本稿では、ラベルルールと、そのルールが正しく適用される具体的な例（エクземプラ）を組み合わせることで、柔らかく含意損失を用いた一括ノイズ除去を通じて、モデルの学習を向上させる、革新的なフレームワークを提案する。この手法は、潜在的カバレッジ変数を用いたルール固有のノイズ補正を活用することで、5つの多様なNLPタスクにおいて、既存のノイズのある教師信号手法を上回る性能を発揮する。

ABSTRACT

In many applications labeled data is not readily available, and needs to be collected via pain-staking human supervision. We propose a rule-exemplar method for collecting human supervision to combine the efficiency of rules with the quality of instance labels. The supervision is coupled such that it is both natural for humans and synergistic for learning. We propose a training algorithm that jointly denoises rules via latent coverage variables, and trains the model through a soft implication loss over the coverage and label variables. The denoised rules and trained model are used jointly for inference. Empirical evaluation on five different tasks shows that (1) our algorithm is more accurate than several existing methods of learning from a mix of clean and noisy supervision, and (2) the coupled rule-exemplar supervision is effective in denoising rules.

研究の動機と目的

• 機械学習における高品質なラベル付きデータの取得という課題に取り組む。これは人的ラベル付けが高コストかつ時間がかかるためである。
• ルールのスケーラビリティとインスタンスレベルのラベルの正確性を組み合わせた、より効果的な教師信号のパラダイムを開発すること。
• ルールとエクземプラの教師信号を組み合わせることで、過剰に一般化されたルールのノイズ除去と、分類器の性能向上を同時に実現する学習アルゴリズムを設計すること。
• 潜在的カバレッジ変数によるルール固有のノイズ補正が、一般的なノイズ耐性学習よりも優れた一般化性能をもたらすことを実証すること。

提案手法

• 各ルールをそのエクземプラに対するノイズの多い一般化とモデル化し、インスタンスに対してルールが正しく適用されるかどうかを示す潜在的カバレッジ変数を用いる。
• 論理的一致性を強制する柔らかく含意損失を導入する。すなわち、ルールがインスタンスをカバーするならば、予測ラベルはエクzemプラのラベルと一致すべきである。
• 変分推論を用いてラベルおよびカバレッジ変数の尤度を最大化することで、分類器とルールのノイズ除去を同時に最適化する学習手順を実施する。
• 勾配降下法を用いたエンドツーエンド学習を可能にするために、含意制約の微分可能近似を用いる。
• 推論時には、ノイズ除去済みのルールを用いることで予測精度を向上させ、ルールの最適化とモデル学習の間でフィードバックループを構築する。
• このフレームワークはルール表現に依存せず、テキスト分類やシーケンスラベリングを含む多様なNLPタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ルールとエクzemプラを結合することで、NLPタスクにおけるより効果的で自然な人的教師信号が得られるか？
• RQ2 外部のクリーンデータに依存せずに、トレーニング中にルール固有のノイズを効果的にモデル化・補正できるか？
• RQ3 潜在的カバレッジ変数を用いた分類器とルールのノイズ除去の共同学習が、標準的なノイズラベル学習手法よりも性能を向上させるか？
• RQ4 柔らかく含意損失が、過剰に一般化されたルールを処理するうえで、標準的なクロスエントロピー損失やルール重み付けベースラインをどれほど上回るか？
• RQ5 このパラダイムは、最小限のアーキテクチャ変更で、多様なNLPタスクに一般化可能か？

主な発見

• 提案手法は、ノイズのあるルールを用いた手法、アクティブラーニング、事後正則化を含む、複数の最先端のベースラインを5つの多様なNLPタスクで上回る高い精度を達成した。
• 潜在的カバレッジ変数を用いた共同学習により、ホールドアウトデータ上でのルールの精度が向上し、ルールの過剰一般化が顕著に低減された。
• 実証的結果から、柔らかく含意損失がエクzemプラの教師信号を効果的に活用し、特にデータが少ない状況下でルール由来のラベルノイズを是正することが可能であった。
• 評価されたすべての設定において、ルール重み付けベースライン（例：Snorkel）およびノイズ耐性学習フレームワーク（例：クリーンな検証セットを用いたメタラーニング）を上回った。
• ルールとインスタンスの教師信号の間で強い相乗効果が発揮され、ルールのノイズ除去がモデル性能を向上させるとともに、モデルの予測がルールの信頼性を高めた。
• コードとデータセットは公開されており、再現性が保たれ、新たな応用分野への展開が可能である。