[논문 리뷰] Learning how to be robust: Deep polynomial regression

Juan-Manuel Pérez-Rúa, Tomás Crivelli외 2명|arXiv (Cornell University)|2018. 04. 17.

Advanced Vision and Imaging참고 문헌 40인용 수 3

한 줄 요약

이 논문은 감독된 애너테이션의 필요성을 제거하기 위해 가시적이고 하드웨어로 구현된 다항식 디코더를 사용하는 딥러닝 프레임워크를 제안한다. 합성된 이상치가 포함된 데이터로 훈련하고, 디코딩된 출력에 대한 손실 함수를 최적화함으로써 모델은 실제 세계 데이터로 일반화하는 데 성공하며, 영상 안정화 작업에서 전통적인 강건한 회귀 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Polynomial regression is a recurrent problem with a large number of applications. In computer vision it often appears in motion analysis. Whatever the application, standard methods for regression of polynomial models tend to deliver biased results when the input data is heavily contaminated by outliers. Moreover, the problem is even harder when outliers have strong structure. Departing from problem-tailored heuristics for robust estimation of parametric models, we explore deep convolutional neural networks. Our work aims to find a generic approach for training deep regression models without the explicit need of supervised annotation. We bypass the need for a tailored loss function on the regression parameters by attaching to our model a differentiable hard-wired decoder corresponding to the polynomial operation at hand. We demonstrate the value of our findings by comparing with standard robust regression methods. Furthermore, we demonstrate how to use such models for a real computer vision problem, i.e., video stabilization. The qualitative and quantitative experiments show that neural networks are able to learn robustness for general polynomial regression, with results that well overpass scores of traditional robust estimation methods.

연구 동기 및 목표

• 훈련 시 레이블이 부여된 진짜 계수를 필요로 하지 않는 일반화된 비지도 딥러닝 방법을 개발하는 것.
• 기존의 최소제곱법과 RANSAC 같은 방법을 흐리게 하는 다항식 회귀에서의 구조적 이상치 문제를 해결하는 것.
• 딥 네트워크가 이상치 분포나 비율에 대한 사전 가정 없이 강건성을 학습할 수 있는지 조사하는 것.
• 디코딩된 출력에 적용된 손실 함수와 추정된 다항식 계수에 적용된 손실 함수의 효과를 비교하여 일반화 성능 향상 여부를 분석하는 것.
• 이 방법이 실제 컴퓨터 비전 작업, 예를 들어 매개변수화된 운동 추정 및 영상 안정화와 같은 분야에 적용 가능한지 보여주는 것.

제안 방법

• 입력 차원에 따라 1D 또는 2D 컨볼루션을 사용하는 스택드 아워글라스 아키텍처를 활용하여 다중 척도 공간 추론을 가능하게 한다 (스칼라 또는 벡터장 회귀에 적합).
• 1D/2D 컨볼루션과 배치 정규화를 사용하는 모델 기반 오토인코더를 활용하여 특징을 추출하고 다항식 계수를 추정한다.
• 예측된 계수를 입력 데이터 공간으로 다시 매핑하는 가시적이고 하드웨어로 구현된 다항식 디코더를 도입하여, 계수에 대한 명시적 감독 없이도 엔드 투 엔드 훈련이 가능하도록 한다.
• 통제된 오염을 가진 합성 데이터셋(Data 1 및 Data 2)을 사용하여 네트워크를 훈련시키며, 가우시안 노이즈와 구조적 다각형 이상치를 포함한다.
• 표준 L2 손실과 Huber 손실 등의 강건한 손실 함수를 디코딩된 출력에 적용하여 오염 상황에서도 일반화 성능을 향상시킨다.
• 실제 애너테이션된 데이터셋에 의존하지 않도록 온라인 데이터 생성 기법을 사용하여 다양한 이상치 패턴을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 순수하게 합성된 오염된 데이터로 훈련된 딥 네트워크가 진짜 계수에 대한 지도 학습 없이도 강건한 다항식 회귀를 수행할 수 있는가?
• RQ2 디코딩된 출력(즉, 재구성된 신호)에 손실 함수를 적용하는 것이 추정된 다항식 계수에 직접 손실을 적용하는 것보다 더 나은 일반화 성능을 낳는가?
• RQ3 구조적 이상치가 존재하는 상황에서 RANSAC 및 M-추정자와 같은 전통적인 강건한 회귀 방법과 비교해 볼 때 네트워크의 성능는 어떠한가?
• RQ4 복잡한 실제 노이즈와 가림 현상이 존재하는 실제 영상 안정화 작업에서, 합성 데이터로 훈련된 모델이 얼마나 잘 일반화되는가?
• RQ5 다중 척도 처리, 공간 인식 능력 등의 아키텍처 구성 요소 중 다항식 회귀에서 강건성을 달성하는 데 필수적인 것은 무엇인가?

주요 결과

• 제안된 모델은 다항식 회귀 작업에서 RANSAC 및 M-추정자와 같은 표준 강건한 회귀 방법보다 뛰어난 성능을 보였다.
• 디코딩된 출력(즉, 재구성된 신호)에 손실 함수를 적용하는 것이 다항식 계수에 직접 손실을 적용하는 것보다 더 나은 일반화 성능을 이끌어냈다.
• 30% 이상치 비율을 가진 합성 데이터(Data 2)로 훈련된 모델는 추가 미세조정 없이도 실제 영상 안정화 작업에 효과적으로 일반화되어 고성능 결과를 생성했다.
• 가시적이고 하드웨어로 구현된 다항식 디코더의 사용은 애너테이션된 계수가 필요 없이 엔드 투 엔드 훈련이 가능하게 하여, 이 방법이 확장 가능하고 비지도 학습에 적합하다.
• 다중 척도 및 공간 인식 능력을 갖춘 스택드 아워글라스 네트워크는 구조적 이상치를 효과적으로 억제하고 다항식의 구조를 유지하는 데 성공했다.
• 전역 운동 추정 및 영상 안정화 분야에서 최신 기술 수준의 성능을 입증하였으며, 정성적 및 정량적 평가 모두에서 기존 방법을 능가했다.