[논문 리뷰] Bayesian Active Learning for Structured Output Design

Kota Matsui, Shunya Kusakawa외 4명|arXiv (Cornell University)|2019. 11. 09.

Machine Learning and Algorithms참고 문헌 21인용 수 6

한 줄 요약

이 논문은 다차원 출력 간 상관관계를 가우시안 프로세스를 통해 모델링하는 새로운 할당 함수를 사용하여 구조적 출력을 가진 역 문제에 대한 베이지안 주도 학습 방법을 제안한다. 이 방법은 더 적은 관측 수로 합성 및 실재의 SiC 실리콘 카바이드 결정 성장 데이터에서 기대하는 출력 형상과 일치하는 입력 파라미터를 효율적으로 식별하여 수렴한다.

ABSTRACT

In this paper, we propose an active learning method for an inverse problem that aims to find an input that achieves a desired structured-output. The proposed method provides new acquisition functions for minimizing the error between the desired structured-output and the prediction of a Gaussian process model, by effectively incorporating the correlation between multiple outputs of the underlying multi-valued black box output functions. The effectiveness of the proposed method is verified by applying it to two synthetic shape search problem and real data. In the real data experiment, we tackle the input parameter search which achieves the desired crystal growth rate in silicon carbide (SiC) crystal growth modeling, that is a problem of materials informatics.

연구 동기 및 목표

• 기대하는 구조적 출력(예: 다차원 출력에서 특정 형상 또는 패턴)을 생성하는 데 목적이 있는 입력 파라미터를 찾는 역 문제를 해결하기 위해.
• 블랙박스이자 노이즈가 많고 불확실한 과학적 시뮬레이션에서 비용이 많이 드는 실험 관측 수를 줄이기 위해.
• 구조적 출력의 출력 차원 간 상관관계를 모델링하고 활용하여 검색 효율성을 향상시키기 위해.
• 벡터 값이며 상관관계가 있는 출력을 위한 특화된 베이지안 최적화 프레임워크를 개발하기 위해.
• 합성 형상 검색 작업과 실재의 재료 과학 데이터(SiC 결정 성장)에서 이 방법을 검증하기 위해.

제안 방법

• 입력을 구조적 출력으로 매핑하는 블랙박스 함수에 대한 가우시안 프로세스 모델을 사용하여 역 문제를 베이지안 실험 설계 문제로 공식화한다.
• 공통된 공분산 구조를 가진 벡터 값 가우시안 프로세스로 구조적 출력을 모델링하여 출력 간 상관관계를 포함하는 새로운 할당 함수를 도입한다.
• 예상 향상(Expectation Improvement, EI) 및 향상 가능성 확률(Probability of Improvement, PI) 할당 함수를 구조적 출력 설정에 적응시켜 출력 성분 간 상관관계를 고려한다.
• GP 모델의 예측 평균과 분산을 사용하여 예측된 출력 형상과 기대하는 출력 형상 간의 기대 오차를 최소화하는 다음 관측 점을 선정한다.
• 반복적으로 적용하여 새로운 관측치로 GP 모델을 업데이트하고 기대하는 출력 쪽으로 검색을 정교화한다.
• 출력 차원 전반에 공통된 길이 척도를 사용하는 제곱 지수 커널을 사용하여 구조적 출력의 매끄럽고 상관관계 있는 특성을 표현한다.

실험 결과

연구 질문

• RQ1 기대 출력이 다차원 상관관계가 있는 여러 차원에서 구조적 형상인 역 문제를 효과적으로 해결하기 위해 베이지안 주도 학습 접근법을 적용할 수 있는가?
• RQ2 할당 함수에 출력 간 상관관계를 통합함으로써 독립적 또는 비구조적 출력 모델링에 비해 표본 효율성이 어떻게 향상되는가?
• RQ3 제안된 방법은 합성 및 실재 과학적 시뮬레이션 모두에서 기대하는 출력으로의 수렴 속도를 빠르게 할 수 있는가?
• RQ4 출력이 공간적으로 상관관계가 있는 실재 재료 과학 데이터(예: 실리콘 카바이드 결정 성장)에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 다양한 할당 함수(EI 대 PI 등)가 구조적 출력 역 문제의 검색 효율성에 어떤 영향을 미치는가?

주요 결과

• 합성 형상 검색 작업(삼각형 및 구체)에서 제안된 방법은 기존 방법보다 더 적은 관측 수로 로그 척도에서 가장 낮은 단순 회귀(regret)를 달성했다.
• 삼각형 검색 작업에서 제안된 방법은 5회 반복 내에 기대하는 출력을 도달했으며, 수렴 속도 측면에서 다른 방법들보다 뚜렷하게 뛰어났다.
• SiC 결정 성장 데이터의 경우, 4번째 관측에서 기대하는 20차원의 성장률 벡터를 달성하여 높은 표본 효율성을 보였다.
• 출력 상관관계를 효과적으로 모델링함으로써 초기 반복 단계에서 기존 할당 함수에 비해 회귀를 줄이는 데 뛰어난 성능을 보였다.
• 모델 예측은 진짜 기대 출력 형상과 밀접하게 일치했으며, 할당 함수는 목표 근처에서 정보가 풍부한 다음 관측 점을 지속적으로 선택했다.
• 결과적으로, 구조적 출력 설정에서 효율적인 역 문제 해결을 위해서는 출력 상관관계를 모델링하는 것이 핵심임을 시사한다.