[논문 리뷰] How to Train Your Energy-Based Model for Regression

Fredrik Gustafsson, Martin Danelljan외 2명|arXiv (Cornell University)|2020. 05. 04.

Anomaly Detection Techniques and Applications참고 문헌 59인용 수 15

한 줄 요약

이 논문은 실세계 데이터의 레이블 노이즈를 명시적으로 고려하여 회귀 과제에서 에너지 기반 모델(EBMs)을 훈련하기 위한 노이즈 대비 추론 추정(NCE)의 새로운 확장인 NCE+를 제안한다. NCE+는 1차원 회귀, 객체 검출, 시각적 추적에서 성능을 크게 향상시키며, LaSOT에서 63.7% AUC, TrackingNet에서 78.7% 성공률을 기록하여 SOTA 성능을 달성했으며, SiamRCNN를 포함한 이전 방법들을 능가하면서도 30 FPS로 실행된다.

ABSTRACT

Energy-based models (EBMs) have become increasingly popular within computer vision in recent years. While they are commonly employed for generative image modeling, recent work has applied EBMs also for regression tasks, achieving state-of-the-art performance on object detection and visual tracking. Training EBMs is however known to be challenging. While a variety of different techniques have been explored for generative modeling, the application of EBMs to regression is not a well-studied problem. How EBMs should be trained for best possible regression performance is thus currently unclear. We therefore accept the task of providing the first detailed study of this problem. To that end, we propose a simple yet highly effective extension of noise contrastive estimation, and carefully compare its performance to six popular methods from literature on the tasks of 1D regression and object detection. The results of this comparison suggest that our training method should be considered the go-to approach. We also apply our method to the visual tracking task, achieving state-of-the-art performance on five datasets. Notably, our tracker achieves 63.7% AUC on LaSOT and 78.7% Success on TrackingNet. Code is available at https://github.com/fregu856/ebms_regression.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 에너지 기반 모델(EBMs)을 회귀 과제에 훈련시키기 위한 체계적인 연구 부족을 해결하기 위해.
• 기존 EBM 훈련 방법에서 종종 忽시되는 실세계 데이터셋의 레이블 노이즈를 고려함으로써 회귀 성능을 향상시키기 위해.
• EBM 훈련에 대해 여섯 가지 기존 기법과의 포괄적 벤치마크를 제공하기 위해.
• 다양한 과제에서 뛰어난 성능을 보이며 새로운 표준 훈련 방법을 확립하기 위해.

제안 방법

• 정답 레이블의 노이즈 버전을 양성 샘플로 포함시켜 EBM 훈련 중에 레이블 노이즈를 명시적으로 모델링하는 수정된 노이즈 대비 추론 추정(NCE) 방법인 NCE+를 제안한다.
• 대조 학습 목표를 사용하여 노이즈가 있는 레이블(y_i + ν_i)과 노이즈 분포에서 추출된 음성 샘플을 구별하도록 EBM을 훈련한다.
• 복잡한 조건부 분포 p(y|x;θ) ∝ exp(f_θ(y|x))를 유연하게 모델링할 수 있도록 에너지 함수 f_θ(y|x)를 딥 네ural 네트워크로 파arameter화한다.
• 추론 시점에 y에 대해 p(y|x;θ)를 최대화하기 위해 경사 상승법을 적용하여 정확한 회귀 예측을 도출한다.
• EBM의 경계 상자 예측에서의 불확실성 모델링 능력을 활용하여, DiMP 추적 프레임워크에 NCE+를 통합하여 최신 수준의 시각적 추적기를 구축한다.
• 표준 벤치마크와 메트릭을 사용하여 1D 회귀, 객체 검출(경계 상자 회귀를 통한), 시각적 추적에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 NCE+는 EBMs의 회귀 과제에서 여섯 가지 기존 훈련 방법과 어떻게 비교되는가?
• RQ2 EBM 훈련 중에 레이블 노이즈를 고려함으로써 실세계 데이터셋에서의 회귀 성능 향상이 가능할 수 있는가?
• RQ3 NCE+는 객체 검출 및 시각적 추적과 같은 복잡한 시각 과제에 효과적으로 일반화되는가?
• RQ4 KLD와 중요도 샘플링 또는 표준 NCE와 같은 기존 접근법보다 NCE+가 더 견고하고 신뢰할 수 있는 훈련 방법인가?
• RQ5 NCE+는 높은 추론 속도를 유지하면서도 시각적 추적에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• NCE+는 SiamRCNN를 포함한 이전 방법들을 능가하며, LaSOT 데이터셋에서 63.7% AUC를 기록하여 SOTA 성능을 달성했다.
• TrackingNet 데이터셋에서 NCE+는 78.7% 성공률을 기록하여 모든 베이스라인 및 경쟁 방법을 뛰어넘었다.
• DiMP-NCE+ 추적기는 단일 GPU에서 약 30 FPS로 실행되어 뛰어난 성능에도 불구하고 높은 효율성을 보였다.
• 모든 평가된 데이터셋과 과제에서 NCE+는 중요도 샘플링을 사용한 KLD 베이스라인과 표준 NCE 모두를 크게 능가했다.
• 포괄적인 비교 결과, NCE+는 견고성과 일관된 성능 향상 덕분에 EBMs의 회귀 훈련을 위한 우선 선택 방법이 되어야 한다.
• 이 방법은 1D 회귀, 객체 검출, 시각적 추적에 이르기까지 다양한 과제에서 효과적이며, 일반화 가능성의 확인을 보여주었다.