[논문 리뷰] Stopping criteria for boosting automatic experimental design using real-time fMRI with Bayesian optimization

Romy Lorenz, Ricardo Pio Monti외 5명|arXiv (Cornell University)|2015. 11. 24.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 24

한 줄 요약

이 논문은 실시간 fMRI 실험에서 베이지안 최적화의 정지 기준 두 가지를 제안하고 평가하여 자동 실험 설계를 가속화한다. 첫 번째 기준은 연속된 자극 간 유클리드 거리에 기반하고, 두 번째 기준은 임계값 이하의 개선 가능성 확률에 기반한다. 두 기준 모두 예측 정확도를 유지하면서 평균적으로 런당 최대 2분 간 스캔 시간을 단축시킨다.

ABSTRACT

Bayesian optimization has been proposed as a practical and efficient tool through which to tune parameters in many difficult settings. Recently, such techniques have been combined with real-time fMRI to propose a novel framework which turns on its head the conventional functional neuroimaging approach. This closed-loop method automatically designs the optimal experiment to evoke a desired target brain pattern. One of the challenges associated with extending such methods to real-time brain imaging is the need for adequate stopping criteria, an aspect of Bayesian optimization which has received limited attention. In light of high scanning costs and limited attentional capacities of subjects an accurate and reliable stopping criteria is essential. In order to address this issue we propose and empirically study the performance of two stopping criteria.

연구 동기 및 목표

• 실시간 fMRI 실험에서 베이지안 최적화를 사용할 때 공식적인 정지 기준이 부족한 문제를 해결하기 위해.
• 폐쇄형 루프 fMRI 실험에서 최적의 종료 시점을 특정하여 스캔 비용을 절감하고 피실험자의 피로를 최소화하기 위해.
• 실증적 fMRI 데이터를 바탕으로 유클리드 거리와 개선 가능성 확률이라는 두 가지 새로운 정지 기준의 성능을 평가하기 위해.
• 조기 종료가 목표 뇌 활성 패턴을 유도하는 최적의 자극을 예측하는 데 정확도를 훼손하지 않도록 보장하기 위해.
• 주의력이 제한된 인구 집단을 포함한 임상 적용을 위한 자동 신경과학자 프레임워크의 번역 가능성을 뒷받침하기 위해.

제안 방법

• 청각-시각 자극 매개변수에 따라 뇌 활성도를 모델링하기 위해 가우시안 프로세스 회귀를 사용한 베이지안 최적화를 적용한다.
• 실시간 fMRI 피드백을 기반으로 새로운 자극을 반복적으로 선택하기 위해 기대 개선도(EI) 획득 함수를 사용한다.
• 연속적으로 제안된 자극 간 유클리드 거리에 기반한 정지 기준을 제안하며, 거리가 임계값 이하로 떨어지면 종료한다.
• 의미 있는 임계값 α = 0.05 이하의 개선 가능성 확률에 기반한 두 번째 정지 기준을 도입한다.
• 이전 연구에서 확보한 다섯 명의 피실험자 데이터를 사용하여 두 기준을 검증하며, 런 전반에 걸쳐 수렴성과 예측 정확도를 분석한다.
• 모델 정확도 평가를 위해 각 반복에서 예측된 최적 자극과 가설적 최적 자극 간 유클리드 거리를 계산한다.

실험 결과

연구 질문

• RQ1 연속된 자극 간 유클리드 거리에 기반한 정지 기준이 실시간 fMRI에서 베이지안 최적화를 신뢰성 있게 종료시킬 수 있는가?
• RQ2 α = 0.05 이하의 개선 가능성 확률에 기반한 정지 기준이 통계적으로 해석 가능하고 효과적인 종료 규칙인가?
• RQ3 정확도가 저하되지 않도록 스캔 시간을 얼마나 줄일 수 있는가?
• RQ4 정지 기준의 성능은 피실험자와 실험 런 간에 어떻게 다를 수 있는가?
• RQ5 조기 종료가 최적의 뇌 상태를 유도하는 자극을 모델이 예측하는 정확도를 유지할 수 있는가?

주요 결과

• 유클리드 거리 정지 기준은 대부분의 런에서 0에 도달하여 반복 간 동일한 자극으로 수렴함을 나타낸다.
• 개선 가능성 확률(PI) 기준은 유클리드 거리가 0에 도달한 모든 경우에서 α = 0.05 이하로 떨어졌으며, 이는 통계적 타당성을 뒷받침한다.
• 세 런 동안 유클리드 거리는 0을 초과한 채 유지되어, 더 긴 스캔이 예측 정확도를 향상시킬 수 있음을 시사한다.
• sub01의 run2에서, 최종 반복 시 모델의 예측 정확도가 첫 번째 런보다 열 劣했으며, 이는 더 긴 데이터 확보의 잠재적 이점이 있음을 시사한다.
• 평균적으로, 정지 기준을 적용하면 정확도에 영향을 주지 않으면서 최대 7개의 관측치(약 2.3분)를 줄일 수 있었다.
• 제안된 정지 기준은 가설적 최적점과의 거리로 측정된 모델의 최적 자극 예측 정확도를 손상시키지 않았다.