[논문 리뷰] Bayesian optimal design using stochastic gradient optimisation and Fisher information gain

Sophie Harbisher, Colin S. Gillespie외 1명|arXiv (Cornell University)|2019. 04. 11.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 2

한 줄 요약

이 논문은 고차원 실험 설계를 효율적으로 찾는 데 사용할 수 있는 베이지안 최적 설계 방법인 SGO-FIG를 제안한다. 이 방법은 추적 기반 피셔 정보 이득 유용도를 사용하는 확률적 경사 최적화를 적용하여 빠른 수렴을 달성한다. 기존 최첨단 방법보다 빠르며, 수백 개의 선택지를 가진 설계도 1분 이내에 생성한다.

ABSTRACT

Finding high dimensional designs is increasingly important in applications of experimental design, but is computationally demanding under existing methods. We introduce an efficient approach applying recent advances in stochastic gradient optimisation. To allow rapid gradient calculations we work with a computationally convenient utility function, the trace of the Fisher information. We provide a decision theoretic justification for this utility, analogous to work by Bernardo (1979) on the Shannon information gain. Due to this similarity we refer to our utility as the Fisher information gain. We compare our optimisation scheme, SGO-FIG, to existing state-of-the-art methods and show our approach is quicker at finding designs which maximise expected utility, allowing designs with hundreds of choices to be produced in under a minute in one example.

연구 동기 및 목표

• 실험 설계 응용 분야에서 고차원 베이지안 최적 설계를 찾는 데 발생하는 계산적 과제를 해결한다.
• 기존 방법들이 고차원 설계 공간으로의 확장에서 효율성이 떨어지는 문제를 해결한다.
• 설계 선택에서 높은 유용도를 유지하면서도 계산 효율성이 뛰어난 최적화 프레임워크를 개발한다.
• 결정 이론 원리를 통해 피셔 정보 행렬의 추적을 유용도 함수로 사용하는 것이 타당함을 정당화한다.
• 설계 품질을 유지하면서도 최첨단 방법보다 빠른 속도 개선을 입증한다.

제안 방법

• 설계 최적화를 위한 계산적으로 유리한 유용도 함수로 피셔 정보 행렬의 추적을 사용한다.
• 고차원 설계 공간을 효과적으로 탐색하기 위해 확률적 경사 최적화(SGO)를 적용한다.
• 결정 이론적 정당화를 위해 베르나르도(1979)의 샤논 정보 이득과 유사한 방식으로 '피셔 정보 이득'(FIG)으로 유용도를 정의한다.
• 몬테카를로 샘플링을 활용해 최적화 중 빠른 업데이트를 가능하게 하는 기울기 추정기를 구축한다.
• 유용도 함수를 확률적 최적화 루프에 통합하여 반복적으로 설계 품질을 향상시킨다.
• 완전한 헤시안 행렬 계산을 피하고 효율적인 기울기 근사에 의존함으로써 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 확률적 경사 최적화는 고차원 공간에서 베이지안 최적 설계에 효과적으로 적용될 수 있는가?
• RQ2 결정 이론 원리에 기반해 피셔 정보의 추적은 설계 최적화에 대해 타당하고 효율적인 유용도 함수인가?
• RQ3 SGO-FIG는 기존 최첨단 베이지안 최적 설계 방법과 비교해 성능과 속도 면에서 어떻게 다른가?
• RQ4 수백 개의 선택지를 가진 설계로의 확장은 얼마나 가능하며, 계산 효율성은 유지되는가?
• RQ5 피셔 정보 이득 유용도는 더 계산 비용이 많이 드는 방법과 비교해 기대 유용도가 유사한 설계를 도출하는가?

주요 결과

• SGO-FIG는 기존 최첨단 방법보다 베이지안 최적 설계를 찾는 데 더 빠른 수렴을 달성한다.
• 이 방법은 수백 개의 선택지를 가진 고차원 설계를 1분 이내에 생성하여 뛰어난 확장성을 입증한다.
• 피셔 정보의 추적은 '피셔 정보 이득'으로 명명되며, 베르나르도(1979)의 샤논 정보 이론과 유사한 결정 이론적 추론을 통해 정당화된다.
• 제안된 유용도 함수는 빠른 기울기 계산을 가능하게 하여 효율적인 확률적 최적화에 핵심적인 역할을 한다.
• 계산 시간을 크게 줄이면서도 높은 기대 유용도를 유지하므로 실제 고차원 응용에 적합하다.
• 실험 결과는 SGO-FIG가 복잡한 설계 문제에서 기존 방법보다 속도와 확장성 면에서 뛰어나다는 것을 확인한다.