[논문 리뷰] Deep Multi-Fidelity Active Learning of High-dimensional Outputs

Shibo Li, Robert M. Kirby외 1명|arXiv (Cornell University)|2020. 12. 02.

Machine Learning and Algorithms참고 문헌 70인용 수 7

한 줄 요약

이 논문은 고차원 출력을 위한 딥 멀티피드리티 액티브 러닝 프레임워크인 DMFAL을 제안한다. 이는 학습 효율성을 극대화하기 위해 최적의 피드리티와 입력 쿼리를 동시에 선택한다. 심층 신경망을 사용해 교차 피드리티 상관관계를 모델링하고, 계산이 용이한 모멘트 매칭 및 델타 방법 근사를 사용한 상호정보 기반 할당 함수를 적용함으로써, DMFAL은 유체역학 시뮬레이션에서 수치 해석기기 대비 최대 466배 빠른 속도 향상을 달성하며, 쿼리 비용이 낮은 것으로서 기존 기준 대비 일관되게 뛰어난 성능을 보인다.

ABSTRACT

Many applications, such as in physical simulation and engineering design, demand we estimate functions with high-dimensional outputs. The training examples can be collected with different fidelities to allow a cost/accuracy trade-off. In this paper, we consider the active learning task that identifies both the fidelity and input to query new training examples so as to achieve the best benefit-cost ratio. To this end, we propose DMFAL, a Deep Multi-Fidelity Active Learning approach. We first develop a deep neural network-based multi-fidelity model for learning with high-dimensional outputs, which can flexibly, efficiently capture all kinds of complex relationships across the outputs and fidelities to improve prediction. We then propose a mutual information-based acquisition function that extends the predictive entropy principle. To overcome the computational challenges caused by large output dimensions, we use multi-variate Delta's method and moment-matching to estimate the output posterior, and Weinstein-Aronszajn identity to calculate and optimize the acquisition function. The computation is tractable, reliable and efficient. We show the advantage of our method in several applications of computational physics and engineering design.

연구 동기 및 목표

• 물리적 시뮬레이션 및 공학 설계에서 고차원 출력 함수의 학습 데이터 생성 비용이 높다는 문제를 해결하기 위해.
• 비용 단위당 학습 이득을 극대화하기 위해 입력 위치와 피드리티를 지능적으로 선택하는 액티브 러닝 프레임워크를 개발하기 위해.
• 심층 신경망을 사용해 다수의 피드리티 수준 간에 복잡한 고차원 출력 상관관계를 모델링하기 위해.
• 다중 피드리티 불확실성과 정보 수확량을 고려한 계산이 용이한 할당 함수를 설계하기 위해.
• 큰 출력 차원에도 불구하고 효율적이고 확장 가능한 할당 함수 최적화를 가능하게 하기 위해.

제안 방법

• 낮은 차원의 잠재 표현을 고차원 출력으로 매핑하는 체인 형태의 피드리티별 전용 네트워크를 갖춘 심층 신경망 아키텍처로, 교차 피드리티 정보 흐름을 가능하게 한다.
• 예측 엔트로피를 다중 피드리티 환경으로 확장한 상호정보 기반 할당 함수로, 고정밀도 목표에 대한 정보 수확량을 극대화하는 쿼리를 우선순위로 정한다.
• 다변량 델타 방법을 사용해 다양한 피드리티 수준 간에 은닉 표현의 사후 모멘트를 분석적으로 추정한다.
• 모멘트 매칭을 통해 잠재 출력의 연합 사후분포를 다변량 정규분포로 근사함으로써 계산이 용이한 불확실성 추정을 가능하게 한다.
• 웨인슈타인-아론스자인 항등식을 적용해 고차원 출력 투영의 엔트로피를 분석적으로 계산함으로써 할당 함수 최적화를 효율적으로 수행한다.
• 스토하스틱 구조적 변분 학습을 통해 잠재층의 랜덤 가중치의 하이퍼파ram터와 사후분포를 동시에 추정한다.

실험 결과

연구 질문

• RQ1 딥 멀티피드리티 모델은 고차원 출력과 여러 피드리티 수준 간의 복잡한 상관관계를 효과적으로 포착할 수 있는가?
• RQ2 고차원 출력 환경에서 액티브 러닝을 위한 입력과 피드리티를 최적으로 선택하기 위해 할당 함수는 어떻게 설계할 수 있는가?
• RQ3 큰 출력 차원으로 인한 계산적 병목 현상을 몬테카를로 샘플링 대신 분석적 근사를 통해 극복할 수 있는가?
• RQ4 제안된 방법은 무작위 쿼리 또는 드롭아웃 기반 기준 대비 상당히 높은 학습 성능을 낮은 총 비용으로 달성하는가?
• RQ5 실제 물리 및 공학적 응용 분야에서 표준 수치 해석기기 대비 DMFAL을 통해 훈련된 서rogate 모델이 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• 모든 벤치마크 작업에서 경쟁 기준 대비 DMFAL은 상당히 낮은 nRMSE를 기록했으며, 모든 쿼리가 소진된 후에도 성능 향상이 지속되었다.
• 구조 최적화 작업에서 DMFAL은 기준 대비 훨씬 더 정확한 지오메트리와 세밀한 국소적 디테일을 포착한 예측을 제공했으며, 기준 대비 흐릿하거나 잘못된 예측을 내보내는 것과 대비되었다.
• 유체역학 시뮬레이션에서 DMFAL은 표준 수치 해석기기 대비 속도를 466배 빠르게 하며 속도 향상을 달성했으며, 액티브 러닝 비용을 고려한 후에도 여전히 유의미했다.
• 특정 정확도 수준에 도달하기 위해 고정밀도 시뮬레이션 횟수가 상당히 줄었으며, 이는 고비용 CFD 응용 분야에서 뛰어난 비용 효율성을 보여주었다.
• 최신 비액티브 러닝 서rogate 모델과 비교했을 때도 DMFAL의 심층 멀티피드리티 아키텍처는 일관되게 뛰어난 성능을 보였으며, 액티브 러닝 통합의 가치를 입증했다.
• 특히 초기 학습 단계에서 상호정보 기반 할당 함수가 BALD 및 예측 분산 적응 기반 방법보다 뛰어난 성능을 보였다.