[논문 리뷰] Differentiable Particle Filtering without Modifying the Forward Pass

Adam Ścibior, Frank Wood|arXiv (Cornell University)|2021. 06. 18.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 표준 입자 필터의 전방 전파 동작을 변경하지 않은 채로 자동 미분(AD)을 사용하여 표준 입자 필터를 미분 가능하게 만드는 단순하고 효율적인 방법을 제안한다. 재표본화 이전에 입자 가중치에 정지 기울기(Stop-gradient) 연산자를 적용하여, AD가 로그-마진널 가능도와 사후 기대값의 일致하고 분산이 낮은 추정기들을 생성하도록 한다. 이는 이전에는 수작업 유도나 복잡한 연속적 리바이저(continuous relaxation)를 통해만 달성 가능했던 것이다.

ABSTRACT

Particle filters are not compatible with automatic differentiation due to the presence of discrete resampling steps. While known estimators for the score function, based on Fisher's identity, can be computed using particle filters, up to this point they required manual implementation. In this paper we show that such estimators can be computed using automatic differentiation, after introducing a simple correction to the particle weights. This correction utilizes the stop-gradient operator and does not modify the particle filter operation on the forward pass, while also being cheap and easy to compute. Surprisingly, with the same correction automatic differentiation also produces good estimators for gradients of expectations under the posterior. We can therefore regard our method as a general recipe for making particle filters differentiable. We additionally show that it produces desired estimators for second-order derivatives and how to extend it to further reduce variance at the expense of additional computation.

연구 동기 및 목표

• 입자 재표본화 단계가 포함된 표준 입자 필터의 자동 미분 가능화를 위해, 전방 전파 동작을 변경하지 않도록 하는 것.
• 자동 미분을 통해 로그-마진널 가능도와 사후 기대값에 대한 일致하고 분산이 낮은 기울기 추정기를 생성하는 것.
• 재표본화의 복잡한 연속적 리바이저 대체로 간단하고 계산 비용이 낮은 방법을 제공하는 것.
• 고차 도함수와 분산이 낮은 입자 필터로의 확장에 대한 방법을 제공하는 것.
• 동일한 보정이 사후 분포 하에서 기대값에 대한 편향이 없고 해석 가능한 기울기 추정기를 가능하게 하는 것.

제안 방법

• 재표본화 이전에 입자 가중치에 정지 기울기 연산자를 적용하여, 기울기 흐름이 재표본화 분포로 유입되지 않도록 하는 것.
• 재표본화 이전의 비정규화된 가중치에 정지 기울기를 적용함으로써 전방 전파가 그대로 유지되도록 하는 것.
• 수정된 로그-추정 마진널 가능도에 자동 미분을 적용하여, Poyiadjis 등(2011)의 스코어 함수 추정기(Score function estimator)를 복원하는 것.
• 반복적인 자동 미분을 통해 고차 도함수로의 확장을 수행하며, 일致성을 유지하는 것.
• 동일한 보정을 국소 입자 필터에 적용하여 분산이 낮은 추정기를 복원하는 것.
• 정지 기울기 표현의 공식적 미분법을 사용하여 자동 미분 하에서 기울기 추정기를 유도하고 검증하는 것.

실험 결과

연구 질문

• RQ1 표준 입자 필터가 전방 전파 동작을 변경하지 않고 자동 미분을 통해 미분 가능하게 할 수 있는가?
• RQ2 입자 가중치에 정지 기울기를 적용하면 로그-마진널 가능도에 대해 일치하고 분산이 낮은 기울기 추정기가 도출되는가?
• RQ3 동일한 보정이 사후 분포 하에서 기대값에 대한 신뢰할 수 있는 기울기 추정기를 생성할 수 있는가?
• RQ4 반복적인 자동 미분을 통해 고차 도함수로의 확장이 가능한가?
• RQ5 분산을 줄이기 위해 국소 입자 필터에 적용할 수 있는가?

주요 결과

• 자동 미분을 통해 Poyiadjis 등(2011)의 스코어 함수 추정기를 수작업 유도 없이 동일하게 복원한다.
• 입자 필터의 전방 전파 동작이 그대로 유지되어 원래의 추정기들이 그대로 보존된다.
• 사후 기대값에 대한 기울기 추정기는 전방 전파 추정기가 편향이 없을 경우 편향이 없는 것으로 확인된다.
• 실험 결과, 표준 REINFORCE 스타일 추정기보다 분산이 낮다.
• 반복적인 자동 미분을 통해 고차 도함수로 자연스럽게 확장된다.
• 복잡한 연속적 리바이저 대비 단순성과 효율성을 확보하면서도 일치성을 유지한다.