[論文レビュー] Modeling Latent Variable Uncertainty for Loss-based Learning

Manish Kumar, Ben Packer+1 more|arXiv (Cornell University)|Jun 18, 2012

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 12

ひとこと要約

本稿は、学習中の潜在変数の不確実性を条件付き分布でモデル化し、推論時の決定論的予測をデルタ分布で表現する二重分布を用いる、潜在変数を伴う損失ベース学習のための新規フレームワークを提案する。これらの分布間の損失に基づく類似度の最小化により、潜在変数の不確実性をモデル化し、潜在変数に依存する損失関数をサポートする。このアプローチにより、物体検出およびアクション検出タスクで性能が向上する。

ABSTRACT

We consider the problem of parameter estimation using weakly supervised datasets, where a training sample consists of the input and a partially specified annotation, which we refer to as the output. The missing information in the annotation is modeled using latent variables. Previous methods overburden a single distribution with two separate tasks: (i) modeling the uncertainty in the latent variables during training; and (ii) making accurate predictions for the output and the latent variables during testing. We propose a novel framework that separates the demands of the two tasks using two distributions: (i) a conditional distribution to model the uncertainty of the latent variables for a given input-output pair; and (ii) a delta distribution to predict the output and the latent variables for a given input. During learning, we encourage agreement between the two distributions by minimizing a loss-based dissimilarity coefficient. Our approach generalizes latent SVM in two important ways: (i) it models the uncertainty over latent variables instead of relying on a pointwise estimate; and (ii) it allows the use of loss functions that depend on latent variables, which greatly increases its applicability. We demonstrate the efficacy of our approach on two challenging problems---object detection and action detection---using publicly available datasets.

研究の動機と目的

• 弱教師あり学習において、不確実性モデリングと予測を混同する既存手法の制限を解消すること。
• 学習中の潜在変数の不確実性モデリングと、推論時の正確な出力および潜在変数予測を分離すること。
• 潜在変数の不確実性と、潜在変数に依存する損失関数をサポートすることで、潜在SVMを一般化すること。
• 弱教師ありデータを用いた、物体検出やアクション検出のような複雑なビジョンタスクにおける性能向上を図ること。
• 二重分布を用いて不確実性表現と予測を分離することで、よりロバストで柔軟な学習を可能にすること。

提案手法

• 学習中に入力xと出力yが与えられたときの潜在変数zの不確実性をモデル化するため、条件付き分布p(z|x,y)を導入する。
• 推論時に与えられた入力に対して最も可能性の高い出力および潜在変数を予測するため、デルタ分布δ(y,z)を用いる。
• 条件付き分布とデルタ分布の間の損失に基づく類似度係数を最小化することで、予測を学習の目的に一致させる。
• タスク固有の損失関数を組み込むことで、モデルパラメータと潜在変数分布の両方の最適化を連合的に定式化する。
• 損失関数が潜在変数に依存することを許容することで、弱教師あり設定におけるより表現力のある監視を可能にする。
• 凸緩和または近似を用いて効率的な推論と最適化を可能にする構造的予測フレームワークを用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 予測精度を損なうことなく、学習中に潜在変数の不確実性を効果的にモデル化する方法は何か？
• RQ2 不確実性モデリングと予測を分離することで、弱教師あり学習における一般化性能が向上するか？
• RQ3 潜在変数に依存する損失関数を構造的予測フレームワークに統合できる範囲はどの程度か？
• RQ4 提案手法の二重分布アプローチは、潜在SVMなどの既存手法と比較して、性能および柔軟性の面でどのように異なるか？
• RQ5 本フレームワークは、アノテーションが不完全な実世界のビジョンタスクに効果的に適用可能か？

主な発見

• 本手法は、点推定に依存するのではなく、潜在変数の不確実性をモデル化することで、潜在SVMを一般化している。
• 本フレームワークは、潜在変数に依存する損失関数をサポートしており、複雑な予測タスクへの応用範囲を著しく拡大している。
• 公開の弱教師ありアノテーションデータセットを用いた実験で、物体検出およびアクション検出タスクにおいて最先端の性能を達成した。
• 実験結果から、不確実性モデリングと予測の分離が、よりロバストで正確な予測をもたらすことが示された。
• 損失に基づく類似度の最小化により、条件付き分布とデルタ分布が効果的に一致し、一般化性能が向上した。
• 特にアノテーションの曖昧さが顕著な状況において、ベースライン手法に比べて一貫した性能向上が見られた。