[論文レビュー] Semi-Supervised Learning with Declaratively Specified Entropy Constraints

Haitian Sun, William W. Cohen+1 more|arXiv (Cornell University)|Apr 24, 2018

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

本稿では、エントロピー制約を用いて多様なSSL戦略を統一する宣言的フレームワークを導入し、アンサンブルや整合性制約、エントロピー正則化の柔軟な指定を可能にしている。標準的なヒューリスティクス（例：co-training）や新しいドメイン固有のルールを統一的なエントロピーに基づく定式化でモデル化することで、挑戦的な関係抽出ベンチマークで最先端の性能を達成した。

ABSTRACT

We propose a technique for declaratively specifying strategies for semi-supervised learning (SSL). SSL methods based on different assumptions perform differently on different tasks, which leads to difficulties applying them in practice. In this paper, we propose to use entropy to unify many types of constraints. Our method can be used to easily specify ensembles of semi-supervised learners, as well as agreement constraints and entropic regularization constraints between these learners, and can be used to model both well-known heuristics such as co-training, and novel domain-specific heuristics. Besides, our model is flexible as to the underlying learning mechanism. Compared to prior frameworks for specifying SSL techniques, our technique achieves consistent improvements on a suite of well-studied SSL benchmarks, and obtains a new state-of-the-art result on a difficult relation extraction task.

研究の動機と目的

• 多様なタスクにおいて、異なる仮定が不一致なパフォーマンスをもたらすというSSL手法の選択の課題に対処すること。
• 整合性や正則化といった複数のタイプのSSL制約を、1つのエントロピーに基づく定式化で統一すること。
• 宣言的制約を通じて、学習者アンサンブルやドメイン固有のヒューリスティクスの柔軟な指定を可能にすること。
• さまざまなSSLベンチマーク、特に困難な関係抽出タスクを含め、一般化性能を向上させること。
• アーキテクチャの変更を要せず、さまざまな学習メカニズムをサポートできる柔軟で拡張可能なフレームワークを提供すること。

提案手法

• 本手法はエントロピー制約を用いて、学習戦略を宣言的に指定し、ユーザーが高水準でモジュラーな方法で複雑なSSLヒューリスティクスを表現できるようにする。
• モデルの予測のエントロピーに関する制約を定式化することで、ラベルなしデータ全体にわたる自信のある予測を促進する正則化が可能になる。
• フレームワークは、複数のモデル間の整合性制約と、予測の一貫性を促進するエントロピー正則化の両方をサポートする。
• 予測全体にわたって整合性を強制するように、学習者アンサンブルの指定が可能である。
• 本手法は、下位の学習アルゴリズムに依存しないため、さまざまなモデルや訓練手順と互換性がある。
• 制約は宣言的にエンコードされており、微分可能訓練パイプラインを介して自動最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 エントロピー制約に基づく統一的で宣言的なフレームワークは、多様な半教師付き学習戦略を効果的にモデル化できるか？
• RQ2 提案されたフレームワークは、標準ベンチマークにおいて既存のSSL手法と比較してどのように性能を発揮するか？
• RQ3 本フレームワークは、co-trainingなどの有名なヒューリスティクスを表現し、それらを改善できるか？
• RQ4 本フレームワークは、新しいドメイン固有のヒューリスティクスの開発と統合を可能にするか？
• RQ5 本フレームワークは、関係抽出のような困難な現実世界のタスクで、どれほど最先端のパフォーマンスを達成できるか？

主な発見

• 提案されたフレームワークは、よく知られた半教師付き学習ベンチマークのスイート全体で一貫した改善を達成した。
• 困難な関係抽出タスクにおいて、新たな最先端の結果を達成した。これは、複雑で現実世界の設定でも有効であることを示している。
• 本手法は、co-trainingのような標準的なヒューリスティクスと、新しいドメイン固有のヒューリスティクスの両方を、統一的なエントロピーに基づく制約システムで効果的にモデル化した。
• フレームワークの柔軟性のおかげで、下位の学習メカニズムを変更せずにさまざまなメカニズムと組み合わせて使用できる。
• 宣言的仕様により、従来のアプローチよりも複雑なSSL戦略の設計と組み合わせが容易になった。
• エントロピー制約の使用により、整合性や正則化といった多様な制約を、1つの形式的枠組みで原理的かつ統一的に統合できるようになった。