[논문 리뷰] Supervised Descent Method for Solving Nonlinear Least Squares Problems in Computer Vision

Xuehan Xiong, Fernando De la Torre|arXiv (Cornell University)|2014. 05. 03.

Advanced Image Fusion Techniques참고 문헌 45인용 수 44

한 줄 요약

이 논문은 컴퓨터 시각에서 헤시안 또는 하세이언 계산이 필요하지 않은 비선형 최소 제곱 문제를 해결하기 위해 보조 학습된 내림내림 지도 학습 프레임워크인 감독 내림내림 방법(SDM)을 제안한다. SDM은 최적의 경로에 대해 학습하고, 학습된 업데이트 규칙을 통해 새로운 입력으로 일반화함으로써 얼굴 특징 검출 및 기타 정렬 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many computer vision problems (e.g., camera calibration, image alignment, structure from motion) are solved with nonlinear optimization methods. It is generally accepted that second order descent methods are the most robust, fast, and reliable approaches for nonlinear optimization of a general smooth function. However, in the context of computer vision, second order descent methods have two main drawbacks: (1) the function might not be analytically differentiable and numerical approximations are impractical, and (2) the Hessian may be large and not positive definite. To address these issues, this paper proposes generic descent maps, which are average "descent directions" and rescaling factors learned in a supervised fashion. Using generic descent maps, we derive a practical algorithm - Supervised Descent Method (SDM) - for minimizing Nonlinear Least Squares (NLS) problems. During training, SDM learns a sequence of decent maps that minimize the NLS. In testing, SDM minimizes the NLS objective using the learned descent maps without computing the Jacobian or the Hessian. We prove the conditions under which the SDM is guaranteed to converge. We illustrate the effectiveness and accuracy of SDM in three computer vision problems: rigid image alignment, non-rigid image alignment, and 3D pose estimation. In particular, we show how SDM achieves state-of-the-art performance in the problem of facial feature detection. The code has been made available at www.humansensing.cs.cmu.edu/intraface.

연구 동기 및 목표

• 헤시안 계산이 비현실적이며 함수가 해석적 도함수를 갖지 않는 컴퓨터 시각에서 뉴턴 및 레벤버그-마르카르트와 같은 2차 방법의 한계를 해결하기 위해.
• 헤시안 또는 야코비안을 명시적으로 계산할 필요 없이 비선형 최소 제곱 문제에 대해 강건하고 빠르며 신뢰할 수 있는 최적화 방법을 개발하기 위해.
• 최적의 최적화 경로에 대해 지도 학습을 통해 일반적인 내림내림 지도를 학습하여 새로운 입력으로의 일반화를 가능하게 하기 위해.
• 리프시츠 연속성 및 국소 단조성 가정 하에 제안된 방법의 수렴 조건을 증명하기 위해.
• 얼굴 특징 검출, 이미지 정렬, 3차원 자세 추정과 같은 핵심 컴퓨터 시각 작업에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• SDM은 최적의 최적화 경로에서 학습을 통해 일반적인 내림내림 지도(R_k)와 스케일링 인자를 학습한다. 각 업데이트는 학습된 행렬과 잔차 항(y - h(x))의 선형 조합으로 이루어진다.
• 이 방법은 기울기나 헤시안을 계산하지 않고도 레이블이 지정된 최적화 경로에서 직접 내림내림 방향을 학습함으로써, SIFT나 HOG와 같은 비미분 가능 기능에도 적용 가능하다.
• 각 매개변수 업데이트는 Δx = R_k * (y - h(x_k))로 계산되며, 여기서 R_k는 학습된 행렬이고 (y - h(x_k))는 잔차 오차이다. 이는 빠른 추론을 가능하게 한다.
• 내림내림 지도는 다중 최적화 단계 동안 진짜 최소값과의 거리를 최소화하는 지도 학습 회귀 목표로 학습된다.
• 잔차 함수가 국소 리프시츠 연속성과 국소 단조성을 만족할 경우, 이론적으로 수렴이 보장된다.
• 다양한 초기 매개변수 추정치에 대해 공통된 내림내림 지도 세트를 학습함으로써 다양한 초기 매개변수 추정치 간의 일반화가 가능해진다.

실험 결과

연구 질문

• RQ1 지속적인 헤시안 및 야코비안 계산을 대체하기 위해 지도 학습 접근법이 컴퓨터 시각의 비선형 최소 제곱 최적화에서 효과적으로 작용할 수 있는가?
• RQ2 학습된 내림내림 지도가 최적의 해로 수렴하는 데 어떤 조건이 필요한가?
• RQ3 일반적인 내림내림 지도는 다양한 초기 매개변수 설정 간에 일반화될 수 있으며, 이미지 정렬 및 자세 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 비미분 가능 기능 설정에서 전통적인 방법인 레벤버그-마르카르트 또는 루카스-카나데와 비교해 SDM은 어떻게 성능을 내는가?
• RQ5 명시적 헤시안 역행렬 계산 없이도 SDM은 고차원 매개변수 공간을 얼마나 잘 다룰 수 있는가?

주요 결과

• SDM은 벤치마크 데이터셋에서 기존 방법보다 뛰어난 성능을 보이며 얼굴 특징 검출에서 최신 기술 수준의 성능을 달성한다.
• 헤시안이나 야코비안을 계산하지 않아도 안정적으로 수렴하므로, SIFT나 HOG와 같은 비미분 가능 기능에 적합하다.
• 이론적 분석을 통해 잔차 함수가 국소 리프시츠 연속성이 있고 내림내림 지도가 특정 노름 및 부호 제약 조건을 만족할 경우 SDM이 수렴함을 증명하였다.
• 학습 경로에서 공통된 내림내림 지도 세트를 학습함으로써 다양한 초기 매개변수 추정치 간에 일반화가 가능하다.
• 실험 결과, SDM은 강성 및 비강성 이미지 정렬 작업에서 표준 레벤버그-마르카르트 및 루카스-카나데 방법보다 더 빠르고 정확하다.
• 학습된 내림내림 방향 덕분에 비볼록 및 불안정한 문제에 강건하며, 뉴턴 유형 방법에서 흔히 발생하는 음의 곡률 문제를 피할 수 있다.