[論文レビュー] Incidental Supervision: Moving beyond Supervised Learning

Dan Roth|arXiv (Cornell University)|May 25, 2020

Topic Modeling被引用数 30

ひとこと要約

本論文は、注釈ボトルネックを低減し、タスク横断で意味学習を拡張するために、 incidental signals—弱く環境に埋め込まれた監視 signal—to学習することを主張し、3つの incidental supervision paradigms を提示し、それをNLPタスクに適用する。

ABSTRACT

Machine Learning and Inference methods have become ubiquitous in our attempt to induce more abstract representations of natural language text, visual scenes, and other messy, naturally occurring data, and support decisions that depend on it. However, learning models for these tasks is difficult partly because generating the necessary supervision signals for it is costly and does not scale. This paper describes several learning paradigms that are designed to alleviate the supervision bottleneck. It will illustrate their benefit in the context of multiple problems, all pertaining to inducing various levels of semantic representations from text.

研究の動機と目的

• 自然言語理解の学習における注釈負荷を減らす必要性を動機づける。
• 特定のタスクとは独立して存在する incidental supervision signals の概念を導入する。
• 3つの incidental supervision paradigms を提案し、意味表現とグラウンディングへの適用を説明する。
• 弱い信号を組み合わせて、複雑で構造化された表現の学習を可能にする方法を論じる。

提案手法

• データ内の incidental cues を活用する、より単純なモデルと知識を介して不完全な注釈で学習する、世界でのモデル挙動からのフィードバックでモデルを監督する、という3つの incidental supervision シナリオを説明する。
• ESA のような意味表現やクロスリンガルリンクなどを活用したデータレスおよびゼロ／ワンショット風の分類を説明する。
• 直接的なタスク固有ラベルが利用できない場合に incidental signals を用いた Wikification と知識ベースへのグラウンディングを説明する。
• 制約駆動学習とポスタほ＝推定正則化を用いて、複数の単純なモデルから一貫したグローバル意思決定を実現する。
• 環境や教師からのフィードバックが実行可能な構造意味表現の学習を導く「応答駆動学習」パラダイムを提示する。

実験結果

リサーチクエスチョン

• RQ1 incidental supervision signals を特定・活用して、タスク固有の注釈なしでモデルを訓練するにはどうすればよいか？
• RQ2 弱く環境由来のフィードバックが、複雑な意味表現や構造化予測モデルの学習を導くことができるか？
• RQ3 複数の incidental signals を統合して、意味役割付けのような構造出力空間で一貫したグローバルな意思決定を実現できるか？
• RQ4 incidental supervision が競争力のある学習やスケーラブルな学習を実現する現実的なNLPタスクは何か？

主な発見

• incidental signals はデータや環境に存在し、ターゲットタスクに対して監督を提供する相関関係を持つ可能性がある。
• データレスおよび関連表現（例：ESA）は、特定の設定でタスク固有ラベルなしに意味分類を可能にする。
• Wikification およびクロスリンガルグラウンディングは、直接的な注釈なしで incidental supervision によって訓練できる。
• 制約駆動学習と多視点学習フレームワークは、単純なモデルを組み合わせて一貫したグローバル予測を生み出すことができる。
• 応答駆動学習は、実行可能な意味と世界からのフィードバックが、意味表現を明示的に持たなくても複雑な意味解析器を監督できることを示す。
• このアプローチは、テキスト分類、Wikification、意味解析など、幅広いNLPタスクで応用可能で、スケーラビリティの利点が見込まれる。