[논문 리뷰] Information-Theoretic Multi-Model Fusion for Target-Oriented Adaptive Sampling in Materials Design

Yixuan Zhang, Zhiyuan Li외 5명|TUbilio (Technical University of Darmstadt)|2026. 02. 03.

Machine Learning in Materials Science인용 수 0

한 줄 요약

정보 이론 프레임워크를 이용한 대상 지향 적응 샘플링은 다중 모델 융합을 활용하여 고차원적이고 데이터가 부족한 재료 설계 문제를 전체 표면 모델링이 아닌 엔트로피 감소 경로에 집중하여 탐색한다.

ABSTRACT

Target-oriented discovery under limited evaluation budgets requires making reliable progress in high-dimensional, heterogeneous design spaces where each new measurement is costly, whether experimental or high-fidelity simulation. We present an information-theoretic framework for target-oriented adaptive sampling that reframes optimization as trajectory discovery: instead of approximating the full response surface, the method maintains and refines a low-entropy information state that concentrates search on target-relevant directions. The approach couples data, model beliefs, and physics/structure priors through dimension-aware information budgeting, adaptive bootstrapped distillation over a heterogeneous surrogate reservoir, and structure-aware candidate manifold analysis with Kalman-inspired multi-model fusion to balance consensus-driven exploitation and disagreement-driven exploration. Evaluated under a single unified protocol without dataset-specific tuning, the framework improves sample efficiency and reliability across 14 single- and multi-objective materials design tasks spanning candidate pools from $600$ to $4 imes 10^6$ and feature dimensions from $10$ to $10^3$, typically reaching top-performing regions within 100 evaluations. Complementary 20-dimensional synthetic benchmarks (Ackley, Rastrigin, Schwefel) further demonstrate robustness to rugged and multimodal landscapes.

연구 동기 및 목표

• 목표 방향을 향한 낮은 엔트로피 정보 상태를 유지하면서 프레임 최적화를 궤적 발견으로 정의한다.
• 데이터, 모델 신념 및 물리적 사전 지식을 차원 인식 정보 예산을 통해 통합한다.
• 적응형 부트스트랩 증류를 갖춘 이질적 대리 저장소를 사용한다.
• 구조 인식 후보 분석 및 Kalman에서 영감을 받은 다중 모델 융합을 적용하여 균형 잡힌 탐색/활용을 달성한다.
• 단일 통합 데이터 부족 프로토콜 하에서 다양한 재료 설계 과제에 대한 견고함을 시연한다.

제안 방법

• 실질적 고유 차원을 추정하고 하이퍼파라미터를 조정하기 위한 차원 인식 용량 정렬.
• 고가치 영역에서 중요 샘플링으로 학습된 이질적 모델을 이용한 타깃 조건부 대리 모델 형성.
• 명시적 임베딩 없이 후보를 그룹화하고 중복성 및 실현 가능한 변이를 추정하기 위한 구조 인식 후보 구성.
• KF 및 rKF와 같은 Kalman 유사 로직을 사용한 다원소 융합으로 활용과 불일치 기반 탐색을 조정한다.
• 아웃-오브-배그 진단으로 모델 일반화 및 보정을 평가한다, R^2 및 ELPD 지표를 포함.
• 정보 이론적 목표: 데이터/모델/물리학 삼자간의 상호정보를 설계 목표와 최대화한다.

실험 결과

연구 질문

• RQ1 고차원 공간에서 대상 관련 궤적에 탐색을 집중시켜 평가 횟수를 줄일 수 있는가?
• RQ2 차원 인식 예산 책정을 갖춘 이질적 모델 앙상블이 데이터 부족 환경에서 단일 모델의 베이지안 최적화에 비해 신뢰성과 샘플 효율성을 향상시키는가?
• RQ3 구조 인식 후보 분석과 Kalman 영감을 받은 융합이 다양한 지형에서 탐색과 활용의 균형을 어떻게 달성하는가?
• RQ4 제안된 프레임워크가 큰 후보 풀과 높은 특성 차원을 갖는 단일 및 다목적 재료 설계 과제에서 견고한가?
• RQ5 대상 영역으로의 수렴을 수반하는 내부 정보 역학(엔트로피, 대역폭 할당, 모델 간 의견 차이)은 무엇인가?

주요 결과

• 이 프레임워크는 후보 풀 600에서 4,000,000, 특성 차원 10에서 10^3에 이르는 14개의 단일 및 다목적 재료 설계 과제에서 샘플 효율성과 신뢰성을 향상시킨다.
• 일반적으로 100번의 평가 이내에 최상위 성능 영역에 도달한다.
• 보완적인 20차원 합성 벤치마크(Ackley, Rastrigin, Schwefel)는 거칠고 다모드 지형에 대한 견고함을 보여준다.
• 데이터셋 특정 튜닝 없이 단일 프로토콜 하에서 중대한 문제 특화 획득 공학 및 하이퍼파라미터 튜닝을 피한다.
• 이 접근법은 물리적 사전지식, 모델 다양성, 불확실성을 정보 중심 제어 루프에 통합하여 적응 샘플링 의사결정을 가능하게 한다.
• 결과는 매끄럽고 다모드 및 기만적 지형 전반에서 일관된 수렴 패턴을 나타내며, 의도적 탐색 후 대상 매니폴드로의 수렴을 보인다.