[論文レビュー] Unsupervised Risk Estimation Using Only Conditional Independence Structure

Jacob Steinhardt, Percy Liang|arXiv (Cornell University)|Jun 1, 2016

Machine Learning and Data Classification被引用数 13

ひとこと要約

本稿では、ラベルなしデータとトレーニング分布とテスト分布の間で保存された条件付き独立性の仮定にのみ依存して、モデルのテスト誤差を推定する手法を提案する。モーメント法を活用することで、パラメトリックなモデル仮定やドメイン間での最適予測子の同一性を必要とせずに、教師なしリスク推定と勾配ベースの判別的学習を可能にする。

ABSTRACT

We show how to estimate a model’s test error from unlabeled data, on distributions very different from the training distribution, while assuming only that certain conditional independencies are preserved between train and test. We do not need to assume that the optimal predictor is the same between train and test, or that the true distribution lies in any parametric family. We can also efficiently compute gradients of the estimated error and hence perform unsupervised discriminative learning. Our technical tool is the method of moments, which allows us to exploit conditional independencies in the absence of a fully-specified model. Our framework encompasses a large family of losses including the log and exponential loss, and extends to structured output settings such as conditional random fields.

研究の動機と目的

• ラベルなしテストデータが利用可能な分布シフトの状況において、モデルの一般化誤差を推定する課題に対処すること。
• トレーニング分布とテスト分布の間で保存される条件付き独立性構造にのみ依存するリスク推定フレームワークの構築。
• ラベルなしデータやパラメトリックなモデル仮定を必要とせず、推定誤差の勾配を計算することで、教師なし判別的学習を可能にすること。
• 条件付きランダムフィールドのような構造化予測設定へとアプローチを拡張し、複雑な出力空間への応用可能性を広げること。

提案手法

• モーメント法を用いて、ラベルなしテストデータと観察された条件付き独立性制約のみに依存して、真のリスクのモーメントを推定する。
• 条件付き独立性の構造を活用し、トレーニング分布とテスト分布の両方で不変となるモーメント条件を同定する。
• 条件付き独立性仮定から導かれるモーメント方程式の連立としてリスク推定を定式化し、結合確率分布の明示的モデリングを回避する。
• モデルパラメータに関する推定誤差の勾配を導出し、エンドツーエンドの教師なし判別的訓練を可能にする。
• 対数損失や指数損失を含む広範な損失関数クラスにこのフレームワークを適用し、CRFのような構造化出力モデルへと拡張する。
• モーメント方程式の線形代数的解法に依存することで、計算効率とスケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 テスト分布がトレーニング分布と著しく異なる状況において、ラベルなしデータからテスト誤差を推定できるか？
• RQ2 条件付き独立性構造のみで、パラメトリック仮定を一切不要として信頼性の高いリスク推定が可能か？
• RQ3 推定誤差の勾配を計算することで、教師なし判別的学習を支援できるか？
• RQ4 ガウス分布でない損失関数や構造化出力損失関数に対しても、この手法はどのように性能を発揮するか？
• RQ5 条件付きランダムフィールドでモデル化されるような構造化予測タスクへとこのフレームワークを拡張可能か？

主な発見

• 分布シフト下でも、保存された条件付き独立性構造にのみ依存して、ラベルなしテストデータ上で正確なテスト誤差推定が可能である。
• 推定誤差の勾配計算が可能であり、これによりラベルなしテストデータがなくても教師なし判別的学習が可能である。
• パラメトリックな分布仮定を必要とせず、対数損失や指数損失を含む広範な損失関数に適用可能である。
• 条件付きランダムフィールドのような構造化出力モデルへと一般化可能であり、複雑な予測タスクへの有用性が拡張される。
• 最適予測子がトレーニングとテストで同一である必要がなく、真の分布がパラメトリック族に属すると仮定する必要もない。
• モーメント法に基づく理論的保証が得られ、仮定された条件付き独立性制約のもとで一貫性が保証される。