[論文レビュー] A novel approach for fusion of heterogeneous sources of data

Mostafa Reisi Gahrooei, Hao Yan+2 more|arXiv (Cornell University)|Feb 28, 2018

Structural Health Monitoring Techniques参考文献 33被引用数 9

ひとこと要約

本稿では、スカラー、曲線、画像、構造化された点群などの異種データタイプを統一的な統計モデルに統合するための、新規の複数テンソル対テンソル回帰（MTOT）フレームワークを提案する。入力および出力をテンソルとして表現し、交互最小二乗法を用いた低ランクテンソル分解を適用することで、複雑な相関関係を効率的に捉えながら過学習を低減する。シミュレーションおよび半導体製造の事例研究において、ベンチマークより優れた予測精度を示した。

ABSTRACT

With advancements in sensor technology, a heterogeneous set of data, containing samples of scalar, waveform signal, image, or even structured point cloud are becoming increasingly popular. Developing a statistical model, representing the behavior of the underlying system based upon such a heterogeneous set of data can be used in monitoring, control, and optimization of the system. Unfortunately, available methods only focus on the scalar and curve data and do not provide a general framework that can integrate different sources of data to construct a model. This paper poses the problem of estimating a process output, measured by a scalar, curve, an image, or a point cloud by a set of heterogeneous process variables such as scalar process setting, sensor readings, and images. We introduce a general approach in which each set of input data (predictor) as well as the output measurements are represented by tensors. We formulate a linear regression model between the input and output tensors and estimate the parameters by minimizing a least square loss function. In order to avoid overfitting and to reduce the number of parameters to be estimated, we decompose the model parameters using several bases, spanning the input and output spaces. Next, we learn both the bases and their spanning coefficients when minimizing the loss function using an alternating least square (ALS) algorithm. We show that such a minimization has a closed-form solution in each iteration and can be computed very efficiently. Through several simulation and case studies, we evaluate the performance of the proposed method. The results reveal the advantage of the proposed method over some benchmarks in the literature in terms of the mean square prediction error.

研究の動機と目的

• プロセス監視および制御におけるスカラー、波形、画像、点群などの異種データタイプを統合的にモデル化するための一般的な統計的フレームワークの欠如に対処すること。
• スカラーまたは関数的データにのみ焦点を当てた従来の手法の限界を克服し、高次元データにおける構造的相関を無視しないこと。
• 構造内相関（例えば、画像における空間パターン）を捉える一方で、計算効率を維持する統一回帰モデルの開発。
• データ駆動型で低ランクパrameterizationを用いることで、多様なプロセス変数から複雑な出力（例えば、半導体製造におけるオーバーレイ誤差）を正確に予測すること。

提案手法

• 異種の入力および出力変数をすべてテンソルとして表現することで、多様なデータタイプを統一的な数学的取り扱いが可能になる。
• 最小二乗損失関数を用いて、入力テンソルと出力テンソルの間の線形回帰モデルを定式化する。
• 次元削減と過学習の防止を目的として、入力および出力テンソル空間を張る基底関数を用いてモデルパラメータを分解する。
• ブロック座標降下法と交互最小二乗法（ALS）を組み合わせることで、基底関数とそれに対応する係数を同時に学習する。
• ALSイテレーションにおける各最適化サブ問題に対して閉形式解を導出することで、効率的かつスケーラブルな計算を実現する。
• IPD（面内変位）差の2次補正モデルを用いて、ウェーハ形状のシミュレーションと半導体製造におけるオーバーレイ誤差の予測に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 スカラー、曲線、画像、点群などの異種データタイプを、1つの統計モデル内で統合的に効果的にモデル化できるか？
• RQ2 高次元データ（例えば、画像における空間パターン）の構造内相関は、統合の過程でどのように保持され、活用されるか？
• RQ3 p ≫ n の状況において、従来の回帰法やPCAベースの手法と比較して、提案されたMTOT手法は過学習をどの程度低減できるか？
• RQ4 半導体製造などの実世界の応用において、既存のベンチマークより優れた予測精度を達成できるか？
• RQ5 多様な入力および出力テンソル空間において、データ駆動型の基底学習は関連する特徴をどの程度効果的に捉えられるか？

主な発見

• 提案されたMTOT手法は、複数のシミュレーションスタディにおいて、平均二乗予測誤差の観点でベンチマーク手法を顕著に上回った。
• 本手法は、ウェーハ形状（画像）とオーバーレイ誤差（画像）の関係をデータ駆動型テンソル回帰フレームワークでモデル化することで、半導体製造におけるオーバーレイ誤差の正確な予測を達成した。
• 低ランクテンソル分解の使用により、推定すべきパラメータ数が著しく削減され、予測子の数がサンプルサイズを著しく上回る状況でも過学習が抑制された。
• 閉形式更新を用いた交互最小二乗（ALS）アルゴリズムにより、パrameter推定の過程で高速かつ安定した収束が達成された。
• 本手法は、ウェーハ形状における複雑な空間パターンを効果的に捉え、それらをオーバーレイ誤差と関連付けることができ、現実的なシミュレーション環境下で強力な予測能力を示した。
• ケーススタディでは、MTOTモデルを用いた予測値と実測値の間で高い相関（R² > 90%）が得られ、半導体プロセス制御における実用的有効性が検証された。