[論文レビュー] Set Prediction without Imposing Structure as Conditional Density Estimation

David W. Zhang, Gertjan J. Burghouts+1 more|arXiv (Cornell University)|Oct 8, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用数 6

ひとこと要約

本稿では、割り当てベースの集合損失が持つ構造的バイアスを回避するため、深層エネルギーに基づくモデルを用いて集合予測を条件付き密度推定として定式化する、Deep Energy-based Set Prediction (DESP) というフレームワークを提案する。負の対数尤度による学習と確率的予測サンプリングを採用することで、DESPは多モード分布を学習し、多様で妥当な集合予測を生成する。これは、曖昧で多モードなタスクにおいて従来手法を上回り、標準ベンチマークでも競争力を持つ。

ABSTRACT

Set prediction is about learning to predict a collection of unordered variables with unknown interrelations. Training such models with set losses imposes the structure of a metric space over sets. We focus on stochastic and underdefined cases, where an incorrectly chosen loss function leads to implausible predictions. Example tasks include conditional point-cloud reconstruction and predicting future states of molecules. In this paper, we propose an alternative to training via set losses by viewing learning as conditional density estimation. Our learning framework fits deep energy-based models and approximates the intractable likelihood with gradient-guided sampling. Furthermore, we propose a stochastically augmented prediction algorithm that enables multiple predictions, reflecting the possible variations in the target set. We empirically demonstrate on a variety of datasets the capability to learn multi-modal densities and produce different plausible predictions. Our approach is competitive with previous set prediction models on standard benchmarks. More importantly, it extends the family of addressable tasks beyond those that have unambiguous predictions.

研究の動機と目的

• 確率的または未定義な集合予測タスクにおける割り当てベースの集合損失の限界を克服すること。これらの損失は人工的な度合い構造を強いるため、多モード分布を捉えることができない。
• 特に複数の妥当な予測が存在する状況において、順序なし集合上の複雑で多モードな条件付き密度を学習すること。
• タスク固有の損失設計を必要とせず、さまざまな深層エネルギーに基づくモデルアーキテクチャをサポートする汎用性の高いフレームワークを開発すること。
• 集合予測の範囲を、複数の妥当な解釈が存在するような明確でないタスク、例えば部分集合異常検出などに拡張すること。
• 勾配誘導付きサンプリングとエネルギーに基づくモデリングを用いて、勾配を介したサンプリングにより、標準ベンチマークで競争力のある性能を発揮するとともに、確率的かつ多様な予測を可能にすること。

提案手法

• 深層エネルギーに基づくモデルを用いて集合予測を条件付き密度推定として定式化し、条件付き確率を $ P_{\bm{\theta}}({\bm{Y}}|{\bm{x}}) = \frac{1}{Z({\bm{x}};{\bm{\theta}})} \exp(-E_{\bm{\theta}}({\bm{x}},{\bm{Y}})) $ で定義する。
• 分割関数 $ Z({\bm{x}};{\bm{\theta}}) $ が解析的に計算できないため、勾配誘導付きサンプリングを用いて勾配を近似することで、負の対数尤度（NLL）による学習を実現し、集合損失の構造的仮定を回避する。
• エネルギーに基づくモデルから複数回サンプリングすることで、多様で妥当な予測を生成する確率的拡張予測アルゴリズムを採用し、不確実性と多モード性を反映する。
• 置換不変なニューラルネットワークをエネルギー関数として採用することで、集合内の要素の順序に依存しない不変性を確保する。
• 訓練中に勾配誘導付きサンプリングを用いることで、解析的に計算できないNLL勾配を近似し、最適化の安定性と収束性を向上させる。
• 3次元再構成、オブジェクト検出、部分集合異常検出など、決定論的および確率的両方の集合予測タスクに本フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 深層エネルギーに基づくモデルによる条件付き密度推定は、人工的な度合い構造を強いることなく、順序なし集合上での多モード分布を効果的に学習できるか？
• RQ2 確率的予測サンプリングは、複数の妥当な結果が存在する集合予測タスクにおいて性能をどのように向上させるか？
• RQ3 提案されたフレームワークは、さまざまな深層エネルギーに基づくモデルアーキテクチャと集合予測タスクに一般化可能か。特に、曖昧または未定義のターゲットを伴うタスクに対しても同様に有効か？
• RQ4 負の対数尤度による学習は、多モードまたは確率的予測を伴う状況において、割り当てベースの集合損失を上回る性能を発揮するか？
• RQ5 部分集合異常検出のような新規なタスクに対しても、本フレームワークは、インライヤーとアウトライヤーの複数の妥当な解釈が存在する状況を適切に処理できるか？

主な発見

• DESPは標準ベンチマークで競争力のある性能を発揮し、CLEVRオブジェクト集合予測タスクにおいてAP50が96.2±0.5を達成。IoU閾値の変動に強く、一貫性のある性能を示した。
• 部分集合異常検出タスクでは、F1スコアが0.76を達成。エレメントごとの確率に依存し、相関関係を無視するベースライン手法（F1 = 0.63）を顕著に上回った。
• 合成データ上では、複数の妥当な予測を効果的に学習・生成でき、集合上での多モード分布のモデリング能力を実証した。
• DESPはさまざまな深層エネルギーに基づくモデルアーキテクチャに一般化され、タスク固有の損失設計を必要とせず、高い性能を維持した。
• 確率的拡張予測アルゴリズムは、曖昧または多モードな状況において、標準的な勾配降下法を上回る多様で高品質な予測を生成した。
• 負の対数尤度による学習は、割り当てベースの損失で見られるトレードオフ（例：compactnessと細粒度再構成の間）を回避し、未定義な問題においてより頑健な学習を可能にした。