[論文レビュー] How to Train Your Energy-Based Model for Regression

Fredrik Gustafsson, Martin Danelljan+2 more|arXiv (Cornell University)|May 4, 2020

Anomaly Detection Techniques and Applications参考文献 59被引用数 15

ひとこと要約

本稿では、実世界のデータにおけるラベルノイズを明示的に取り入れた回帰タスクにおけるエネルギー関数モデル（EBM）の学習のための新しい拡張手法NCE+を提案する。NCE+は1次元回帰、オブジェクト検出、視覚追跡の各タスクで顕著な性能向上を達成し、LaSOTでは63.7%のAUC、TrackingNetでは78.7%の成功率を記録し、SiamRCNNを含む先行手法を上回る。30FPSの高速な実行速度を達成している。

ABSTRACT

Energy-based models (EBMs) have become increasingly popular within computer vision in recent years. While they are commonly employed for generative image modeling, recent work has applied EBMs also for regression tasks, achieving state-of-the-art performance on object detection and visual tracking. Training EBMs is however known to be challenging. While a variety of different techniques have been explored for generative modeling, the application of EBMs to regression is not a well-studied problem. How EBMs should be trained for best possible regression performance is thus currently unclear. We therefore accept the task of providing the first detailed study of this problem. To that end, we propose a simple yet highly effective extension of noise contrastive estimation, and carefully compare its performance to six popular methods from literature on the tasks of 1D regression and object detection. The results of this comparison suggest that our training method should be considered the go-to approach. We also apply our method to the visual tracking task, achieving state-of-the-art performance on five datasets. Notably, our tracker achieves 63.7% AUC on LaSOT and 78.7% Success on TrackingNet. Code is available at https://github.com/fregu856/ebms_regression.

研究の動機と目的

• コンピュータビジョン分野における回帰タスク向けエネルギー関数モデル（EBM）の学習に関する体系的な研究の不足に応えること。
• 現実のデータセットにしばしば見られるラベルノイズを考慮することで、回帰性能を向上させること。既存のEBM学習手法ではこの点がしばしば無視されている。
• EBMの学習手法として6つの定着した手法と比較する包括的なベンチマークを提供すること。
• 複数のタスクにわたる優れた性能を示すことで、回帰タスクにおけるEBMの学習手法の新基準を確立すること。

提案手法

• NCE+を提案する。これは、正例としてノイズを含む真値ラベル（y_i + ν_i）を明示的にモデル化することで、EBM学習中にラベルノイズを考慮する修正されたノイズ対比推定法である。
• 対照的学習の目的関数を用い、ノイズを含むラベル（y_i + ν_i）とノイズ分布から抽出された負例を区別するようにEBMを学習する。
• 深層ニューラルネットワークを用いてエネルギー関数f_θ(y|x)をパラメータ化することで、複雑な条件付き分布p(y|x;θ) ∝ exp(f_θ(y|x))の柔軟なモデリングを可能にする。
• 推論時に勾配上昇法を用い、p(y|x;θ)をyに関して最大化することで、高精度な回帰予測を生成する。
• DiMP追跡フレームワークにNCE+を統合し、境界ボックス予測の不確実性をモデル化できるEBMの特性を活かして、最先端の視覚追跡器を構築する。
• 1次元回帰、オブジェクト検出（境界ボックス回帰を介して）、視覚追跡の各タスクに対して、標準的なベンチマークと指標を用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 NCE+は、回帰タスクにおけるEBM学習のための6つの既存手法と比べてどのように性能を発揮するか？
• RQ2 EBM学習中にラベルノイズを考慮することで、現実のデータセットにおける回帰性能が向上するか？
• RQ3 NCE+はオブジェクト検出や視覚追跡といった複雑なビジョンタスクにも効果的に一般化できるか？
• RQ4 KLDと重要度サンプリングを組み合わせた手法や標準的なNCEと比較して、NCE+はよりロバストで信頼性の高い学習手法と呼べるか？
• RQ5 NCE+は高い推論速度を維持しながら、視覚追跡タスクで最先端の性能を達成できるか？

主な発見

• LaSOTデータセットでは63.7%のAUCを記録し、SiamRCNNを含む先行手法を上回る最先端の性能を達成した。
• TrackingNetデータセットでは78.7%の成功率を達成し、すべてのベースラインおよび競合手法を上回った。
• DiMP-NCE+トレッカーは単一GPUで約30FPSの速度を達成し、優れた性能を維持しながらも高い効率性を示した。
• すべての評価済みデータセットおよびタスクにおいて、重要度サンプリング付きKLDベースラインおよび標準NCEと比較して、NCE+は顕著に優れた性能を示した。
• 包括的な比較から、NCE+はそのロバスト性と一貫した性能向上の観点から、回帰タスクにおけるEBM学習の標準的手法として採用すべきであると結論づけられた。
• 1次元回帰、オブジェクト検出、視覚追跡に至るまで、多様なタスクにわたり有効であることが確認され、汎用性の高さが裏付けられた。