[논문 리뷰] Sequential Kernel Herding: Frank-Wolfe Optimization for Particle Filtering

Simon Lacoste-Julien, Fredrik Lindsten외 1명|arXiv (Cornell University)|2015. 01. 09.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 28

한 줄 요약

이 논문은 입자 필터에서 랜덤 입자 샘플링을 대체하기 위해 프랭크-울프 최적화 기반의 순차적 커널 허딩(SKH)을 제안한다. 이 방법은 재생 커널 힐버트 공간(RKHS) 내에서 커널 허딩을 활용해 적응적으로 입자 위치를 선택함으로써 수렴 속도를 빠르게 하고 정확도를 향상시킨다. 이는 정사각형 오차를 최소화하기 위해 설계되었으며, 유리한 조건 하에서 O(1/k) 수렴 속도를 보이며, 합성 및 로봇 위치 추정 작업에서 표준 몬테카를로 및 준몽테카를로 샘플링보다 뛰어난 성능을 보인다.

ABSTRACT

Recently, the Frank-Wolfe optimization algorithm was suggested as a procedure to obtain adaptive quadrature rules for integrals of functions in a reproducing kernel Hilbert space (RKHS) with a potentially faster rate of convergence than Monte Carlo integration (and "kernel herding" was shown to be a special case of this procedure). In this paper, we propose to replace the random sampling step in a particle filter by Frank-Wolfe optimization. By optimizing the position of the particles, we can obtain better accuracy than random or quasi-Monte Carlo sampling. In applications where the evaluation of the emission probabilities is expensive (such as in robot localization), the additional computational cost to generate the particles through optimization can be justified. Experiments on standard synthetic examples as well as on a robot localization task indicate indeed an improvement of accuracy over random and quasi-Monte Carlo sampling.

연구 동기 및 목표

• 우도 평가가 비용이 많이 드는 상황에서 표준 입자 필터의 높은 분산과 계산 비효율성을 해결한다.
• 시각 기반 로봇과 같은 계산 비용이 높은 관측 모델이 있는 상황에서 보스터트 입자 필터의 한계를 극복한다.
• 최적화를 활용해 입자 배치를 개선하여 입자 수를 늘리지 않고도 샘플링 분산을 줄이는 방법을 개발한다.
• 베이지안 필터링 및 RKHS 통합의 맥락에서 제안된 방법의 이론적 수렴 보장을 제공한다.
• 합성 및 실제 로봇 위치 추정 작업에서 표준 및 준몽테카를로 입자 필터보다 방법의 경험적 우수성을 입증한다.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 정적 오차를 최소화하기 위해 입자 필터의 랜덤 샘플링 단계를 프랭크-울프 최적화로 대체한다.
• 커널 허딩을 프랭크-울프의 특수한 경우로 사용하여 후행 분포를 가장 잘 근사하는 입자 위치를 반복적으로 선택한다.
• 입자 위치의 면적 다각형 위의 제약 최적화 문제로 입자 선택을 공식화하여, 목표 분포의 평균 원소와의 거리를 최소화한다.
• 커널 유도 특성 공간에서 가장 정보가 많은 점을 선택하는 선형 보조 문제를 사용하여 프랭크-울프 알고리즘으로 입자 위치를 반복적으로 업데이트한다.
• 최적화된 입자 집합을 베이지안 필터링 재귀식에 통합하여 각 시간 단계에서 후행 분포 근사치를 업데이트한다.
• 이론적 분석 결과, 진짜 평균이 도메인의 볼록 hull의 상대 내부에 있을 경우 오차의 수렴 속도가 O(1/k)임을 보였다.

실험 결과

연구 질문

• RQ1 프랭크-울프 최적화는 고차원 비선형 상태공간 모델에서 샘플링 분산을 줄이기 위해 입자 필터링에 효과적으로 적용될 수 있는가?
• RQ2 랜덤 입자 샘플링을 최적화 기반 선택으로 대체할 경우, 표준 몽테카를로 또는 준몽테카를로 방법보다 더 빠른 수렴 속도를 얻을 수 있는가?
• RQ3 RKHS 기반 정적 오차의 맥락에서 최적화 기반 입자 필터링 방법의 이론적 수렴 보장을 어떻게 확립할 수 있는가?
• RQ4 우도 평가가 계산적으로 비용이 많이 드는 상황, 예를 들어 시각 기반 로봇 위치 추정에서 이 방법은 실제로 어떻게 성능을 내는가?
• RQ5 우도 계산이 주요 비용인 경우, 표준 입자 필터보다 더 적은 입자 수로도 정확도를 유지할 수 있는가?

주요 결과

• 제안된 순차적 커널 허딩(SKH) 방법은 유리한 기하 조건 하에서 후행 분포의 평균 원소 근사 오차에 대해 O(1/k) 수렴 속도를 달성한다.
• 이론적 분석 결과, 진짜 평균이 도메인의 볼록 hull의 상대 내부에 있을 경우 오차는 O(1/k)로 감소하며, 이는 몬테카를로 방법의 표준 O(1/√k) 수렴 속도보다 빠르다.
• 평균이 상대 내부에 있지 않은 경우에도 방법은 여전히 O(1/√k) 수렴 속도를 달성하지만, 이전의 프랭크-울프 수렴 경계에서 나타나는 로그 인자 없이 이루어진다.
• 합성 모델과 로봇 위치 추정 작업에서의 경험적 결과는 SKH가 표준 입자 필터 및 준몽테카를로 입자 필터보다 정확도에서 뛰어나다는 것을 보여준다. 특히 우도 평가가 비용이 많이 드는 경우에 유의미한 성능 향상을 보인다.
• 이 방법은 입자 수를 줄여도 높은 정확도를 유지하며, 우도 평가가 주요 병목 현상인 경우 최적화의 추가 계산 비용을 정당화한다.