[논문 리뷰] Better safe than sorry: Risky function exploitation through safe optimization

Eric Schulz, Quentin J. M. Huys외 3명|arXiv (Cornell University)|2016. 02. 02.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 7

한 줄 요약

이 연구는 참가자가 안전 기준 이하의 결과를 피하면서 보상을 최대화해야 하는 위험성 있는 기능 최적화 작업에서 인간의 행동을 조사한다. 가우시안 프로세스 기반의 안전 최적화 알고리즘을 사용하여, 저자들은 참가자가 먼저 안전성을 평가한 후 안전 영역 내에서 최적화를 수행함으로써 안정성 중심의 위험 회피적이고 局소적 탐색-이용 행동을 보임을 보여주었다.

ABSTRACT

Exploration-exploitation of functions, that is learning and optimizing a mapping between inputs and expected outputs, is ubiquitous to many real world situations. These situations sometimes require us to avoid certain outcomes at all cost, for example because they are poisonous, harmful, or otherwise dangerous. We test participants' behavior in scenarios in which they have to find the optimum of a function while at the same time avoid outputs below a certain threshold. In two experiments, we find that Safe-Optimization, a Gaussian Process-based exploration-exploitation algorithm, describes participants' behavior well and that participants seem to care firstly whether a point is safe and then try to pick the optimal point from all such safe points. This means that their trade-off between exploration and exploitation can be seen as an intelligent, approximate, and homeostasis-driven strategy.

연구 동기 및 목표

• 사람들이 엄격한 안전 제약 조건 하에서 기능 최적화를 수행할 때 탐색과 이용을 어떻게 균형 잡는지 조사하기 위해.
• 이러한 작업에서 인간의 행동이 해로운 결과를 피하는 것을 우선시하는 안전 최적화 알고리즘과 일치하는지 조사하기 위해.
• 참가자가 안전 확보를 우선시한 후 안전 영역 내에서 최대화하는 계층적 전략을 채택하는지 확인하기 위해.
• 기능 학습 과정에서 안정성 유지가 위험 회피적 의사결정을 어떻게 이끄는지 평가하기 위해.
• 사용자 복잡도(일변량 대 이변량)가 탐색 패턴과 안전 우선 순위에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 참가자들은 입력을 선택하여 출력을 관찰하는 기능 학습 작업을 수행하였으며, 보상은 출력 값에 기반하였다.
• 안전 기준이 설정되었으며, 50 이하의 결과는 '나쁜' 것으로 간주되어 절대 피해야 했다.
• 안전 최적화 알고리즘은 알려지지 않은 함수를 모델링하고 불확실성을 추정하기 위해 가우시안 프로세스 회귀를 사용하였다.
• 알고리즘은 안전 확률(P(safe) > 0.8)이 높은 입력을 우선 선택하고, 그 다음으로 안전 영역 내에서 기대 출력이 높은 입력을 선택하였다.
• 모델은 순차적 히우리스틱을 사용하였으며, 먼저 안전성 평가를 한 후 안전 부분집합 내에서 최대화를 수행하였다.
• 행동는 고정 효과로 안전 영역, 최대화자, 확장자, 조건을 포함한 혼합 효과 회귀 모델로 모델링되었다.

실험 결과

연구 질문

• RQ1 결과가 기준 이하일 경우 절대 피해야 하는 상황에서 인간은 알려지지 않은 기능을 어떻게 탐색하고 이용하는가?
• RQ2 인간의 행동이 가우시안 프로세스 기반의 안전 최적화 알고리즘과 어느 정도 일치하는가?
• RQ3 참가자는 안전 영역 내에서 최대화하기 전에 안전성 평가를 우선시하는가, 아니면 안전성과 보상 극대화를 동시에 균형 잡는가?
• RQ4 사용자 복잡도(일변량 대 이변량)는 참가자의 위험 회피성과 탐색 패턴에 어떤 영향을 미치는가?
• RQ5 안정성 유지가 안전 제약 조건 하에서 참가자의 의사결정을 어떻게 이끄는가?

주요 결과

• 참가자의 행동은 안전 영역을 확장하고 그 안에서 최대화하는 가우시안 프로세스 기반의 안전 최적화 알고리즘으로 잘 기술되었다.
• 참가자들은 강한 위험 회피 성향을 보였으며, 초기 안전 입력 근처에 머물러 있었고, 특히 더 복잡한 이변량 작업에서 안전 영역을 거의 확장하지 않았다.
• 입력이 안전할 확률(P(safe) > 0.8)이 선택의 주요 결정 요소였으며, 이는 보상 극대화보다 안전성에 대한 강한 집중을 시사한다.
• 안전 조건에서는 안전 영역이 선택에 유의미한 긍정적 영향을 미쳤다(b = 2.11, SE = 0.07), 최대화자 효과 역시 유의미했다(b = 0.23, SE = 0.09).
• 안전 영역 확장 노력(확장자 변수)은 유의미하지 않았다(b = 0.03, SE = 0.08), 이는 안전 영역을 확장하는 데 관심이 거의 없음을 시사한다.
• 결정 트리 분석 결과, 기준 이하일 확률만이 선택에 유의미한 영향을 미쳤으며, 이는 안전 우선 히우리스틱을 확인한다.