[논문 리뷰] Multi-Information Source Optimization with General Model Discrepancies

Matthias Poloczek, Jialei Wang외 1명|arXiv (Cornell University)|2016. 03. 01.

Advanced Multi-Objective Optimization Algorithms참고 문헌 22인용 수 3

한 줄 요약

이 논문은 모델 불일치가 존재하는 다중 정보원 문제를 위한 새로운 최적화 알고리즘을 제안하며, 탐색 비용과 기대 수익 간의 균형을 이루기 위해 철저한 정보가치 분석을 사용한다. 이는 탐색 비용을 줄이며 더 놈은 목적 함수 값을 달성함으로써 최신 기술을 능가한다.

ABSTRACT

In the multi-information source optimization problem our goal is to optimize a complex design. However, we only have indirect access to the objective value of any design via information sources that are subject to model discrepancy, i.e. whose internal model inherently deviates from reality. We present a novel algorithm that is based on a rigorous mathematical treatment of the uncertainties arising from the model discrepancies. Its optimization decisions rely on a stringent value of information analysis that trades off the predicted benefit and its cost. We conduct an experimental evaluation that demonstrates that the method consistently outperforms other state-of-the-art techniques: it finds designs of considerably higher objective value and additionally inflicts less cost in the exploration process.

연구 동기 및 목표

• 목적 함수 값이 본질적으로 모델 불일치가 존재하는 다수의 정보원을 통해만 접근 가능한 복잡한 설계를 최적화하는 데 도전하는 것.
• 다양한 정보원 간의 모델 불일치로 인한 불확실성을 철저히 고려하는 의사결정 프레임워크를 개발하는 것.
• 탐색 비용을 최소화하면서도 목적 함수 값의 기대 향상을 극대화하기 위한 정보원 선택 전략을 수립하는 것.

제안 방법

• 모델 불일치로 인한 불확실성을 정보원 간의 수학적 처리를 통해 다루는 방법.
• 각 정보원을 쿼리할 경우의 기대 수익을 비용과 비교하여 정량화하기 위해 정보가치 분석을 사용하는 방법.
• 예측된 향상도와 확보 비용 간의 트레이드오프를 기반으로 동적으로 정보원을 선택하는 알고리즘.
• 모델 불일치를 현실에서의 확률적 편차로 모델링하고, 이를 확률적 최적화 프레임워크에 통합하는 방법.
• 비용 인지 쿼리 함수와 베이지안 추론을 융합하여 높은 가치이면서 저비용인 쿼리 우선순위를 정하는 방법.

실험 결과

연구 질문

• RQ1 목적 평가가 오직 정확하지 않은 다수의 정보원을 통해만 가능할 경우, 어떻게 효과적으로 복잡한 설계를 최적화할 수 있는가?
• RQ2 모델 불일치 하에서 탐색 비용과 목적 함수 값의 기대 향상 간 최적의 트레이드오프는 무엇인가?
• RQ3 모델 불일치로 인한 불확실성은 어떻게 엄밀하게 모델링하고 최적화 의사결정 과정에 통합할 수 있는가?

주요 결과

• 제안된 방법은 다중 정보원 최적화 분야에서 최신 기술 대비 일관되게 더 높은 목적 함수 값을 달성한다.
• 전반적인 탐색 과정의 비용을 줄이며, 더 적고 전략적으로 선택된 쿼리만으로도 충분하다.
• 정보가치 분석 덕분에 더 효율적인 정보원 선택이 가능해져 고품질 설계에 빠르게 수렴한다.
• 다양한 수준의 모델 불일치를 가진 다양한 문제 사례에서 뛰어난 성능을 유지한다.