[논문 리뷰] A novel approach for fusion of heterogeneous sources of data

Mostafa Reisi Gahrooei, Hao Yan외 2명|arXiv (Cornell University)|2018. 02. 28.

Structural Health Monitoring Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 스칼라, 곡선, 이미지, 구조적 포인트 클라우드와 같은 이질적 데이터 유형을 통합된 통계 모델로 융합하기 위한 새로운 다중 텐서-텐서 회귀(MTOT) 프레임워크를 제안한다. 입력 및 출력을 텐서로 표현하고, 교대 최소 제곱 최적화를 사용한 저랭크 텐서 분해를 적용함으로써, 복잡한 상관관계를 효과적으로 포착하면서 과적합을 줄이는 데 성공한다. 시뮬레이션 및 반도체 제조 사례 연구에서 기준 모델 대비 뛰어난 예측 정확도를 입증한다.

ABSTRACT

With advancements in sensor technology, a heterogeneous set of data, containing samples of scalar, waveform signal, image, or even structured point cloud are becoming increasingly popular. Developing a statistical model, representing the behavior of the underlying system based upon such a heterogeneous set of data can be used in monitoring, control, and optimization of the system. Unfortunately, available methods only focus on the scalar and curve data and do not provide a general framework that can integrate different sources of data to construct a model. This paper poses the problem of estimating a process output, measured by a scalar, curve, an image, or a point cloud by a set of heterogeneous process variables such as scalar process setting, sensor readings, and images. We introduce a general approach in which each set of input data (predictor) as well as the output measurements are represented by tensors. We formulate a linear regression model between the input and output tensors and estimate the parameters by minimizing a least square loss function. In order to avoid overfitting and to reduce the number of parameters to be estimated, we decompose the model parameters using several bases, spanning the input and output spaces. Next, we learn both the bases and their spanning coefficients when minimizing the loss function using an alternating least square (ALS) algorithm. We show that such a minimization has a closed-form solution in each iteration and can be computed very efficiently. Through several simulation and case studies, we evaluate the performance of the proposed method. The results reveal the advantage of the proposed method over some benchmarks in the literature in terms of the mean square prediction error.

연구 동기 및 목표

• 프로세스 모니터링 및 제어에서 스칼라, 파형, 이미지, 포인트 클라우드와 같은 이질적 데이터 유형을 모델링하기 위한 일반적인 통계 프레임워크의 부재를 해결하기 위해.
• 기존 방법이 스칼라 또는 기능적 데이터에만 초점을 맞추며 고차원 데이터의 구조적 상관관계를 忽시하는 한계를 극복하기 위해.
• 스스로의 구조 내 상관관계(예: 이미지의 공간 패턴)를 포착하면서도 계산 효율성을 유지하는 통합된 회귀 모델을 개발하기 위해.
• 데이터 기반의 저랭크 매개변수화를 통해 다양한 공정 변수로부터 복잡한 출력(예: 반도체 제조에서의 오버레이 오차)을 정확하게 예측할 수 있도록 하기 위해.

제안 방법

• 다양한 데이터 유형을 통합적으로 다룰 수 있도록 각 이질적 입력 및 출력 변수를 텐서로 표현한다.
• 최소 제곱 손실 함수를 사용하여 입력 텐서와 출력 텐서 사이의 선형 회귀 모델을 수립한다.
• 차원을 감소시키고 과적합을 방지하기 위해 입력 및 출력 텐서 공간을 덮는 기저 함수를 사용하여 모델 매개변수를 분해한다.
• 블록 좌표 강하 알고리즘과 교대 최소 제곱(ALS)을 조합하여 기저 함수와 그에 대응하는 계수를 동시에 학습한다.
• ALS 반복 과정에서 각 최적화 하위 문제에 대해 닫힌 형태의 해를 유도함으로써 효율적이고 확장 가능한 계산을 가능하게 한다.
• 2차 보정 모델을 사용하여 IPD(in-plane displacement) 차이를 고려하여 웨이퍼 형상 시뮬레이션과 반도체 제조에서의 오버레이 오차 예측에 적용한다.

실험 결과

연구 질문

• RQ1 통합된 통계 모델 내에서 스칼라, 곡선, 이미지, 포인트 클라우드와 같은 이질적 데이터 유형을 효과적으로 모델링할 수 있는가?
• RQ2 고차원 데이터에서의 내부 구조 상관관계(예: 이미지의 공간 패턴)는 융합 과정에서 어떻게 유지되고 활용될 수 있는가?
• RQ3 p ≫ n 조건에서 기존의 회귀 또는 PCA 기반 접근법에 비해 제안된 MTOT 방법이 과적합을 얼마나 줄이는가?
• RQ4 실제 응용 분야인 반도체 제조에서 기존 기준 모델 대비 더 높은 예측 정확도를 달성할 수 있는가?
• RQ5 다양한 입력 및 출력 텐서 공간에서 관련 특징을 효과적으로 포착하기 위해 데이터 기반 기저 학습이 얼마나 유용한가?

주요 결과

• 다양한 시뮬레이션 연구에서 제안된 MTOT 방법은 평균 제곱 예측 오차 측면에서 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 데이터 기반 텐서 회귀 프레임워크를 통해 웨이퍼 형상(이미지)과 오버레이 오차(이미지) 간의 관계를 모델링함으로써 반도체 제조에서 오버레이 오차를 정확하게 예측할 수 있었다.
• 저랭크 텐서 분해를 사용함으로써 추정해야 할 매개변수의 수를 효과적으로 줄여, 예측 변수의 수가 표본 크기보다 크게 초과하는 조건에서도 과적합을 완화하였다.
• 닫힌 형태의 업데이트를 갖춘 교대 최소 제곱(ALS) 알고리즘은 매개변수 추정 과정에서 빠르고 안정적인 수렴을 가능하게 하였다.
• 이 방법은 웨이퍼 형상의 복잡한 공간 패턴을 효과적으로 포착하여 오버레이 오차와 연관지키며 현실적인 시뮬레이션 환경에서 강력한 예측 능력을 입증하였다.
• 사례 연구 결과, MTOT 모델을 사용할 경우 예측된 오버레이 오차와 실제 오차 간 상관계수가 R² > 90%로 매우 높게 나타나, 반도체 공정 제어 분야에서의 실용적 유용성을 검증하였다.