[論文レビュー] High-low level support vector regression prediction approach (HL-SVR) for data modeling with input parameters of unequal sample sizes

Maolin Shi, Wei Sun+2 more|arXiv (Cornell University)|May 30, 2019

Industrial Vision Systems and Defect Detection参考文献 44被引用数 5

ひとこと要約

本稿では、入力パラメータのサンプルサイズが不均等な工学的システムをモデル化するための新しいSVRベースの手法、High-Low Level Support Vector Regression (HL-SVR) を提案する。この手法は、サンプルサイズが大きいパラメータに対して低レベルSVRモデルを、サンプルサイズが小さいパラメータに対しては高レベルSVRモデルを用いる。数値例および歯科インプラントの事例研究において、従来のSVRに比べて予測精度が顕著に向上する。

ABSTRACT

Support vector regression (SVR) has been widely used to reduce the high computational cost of computer simulation. SVR assumes the input parameters have equal sample sizes, but unequal sample sizes are often encountered in engineering practices. To solve this issue, a new prediction approach based on SVR, namely as high-low-level SVR approach (HL-SVR) is proposed for data modeling of input parameters of unequal sample sizes in this paper. The proposed approach is consisted of low-level SVR models for the input parameters of larger sample sizes and high-level SVR model for the input parameters of smaller sample sizes. For each training point of the input parameters of smaller sample sizes, one low-level SVR model is built based on its corresponding input parameters of larger sample sizes and their responses of interest. The high-level SVR model is built based on the obtained responses from the low-level SVR models and the input parameters of smaller sample sizes. Several numerical examples are used to validate the performance of HL-SVR. The experimental results indicate that HL-SVR can produce more accurate prediction results than conventional SVR. The proposed approach is applied on the stress analysis of dental implant, which the structural parameters have massive samples but the material of implant can only be selected from several Ti and its alloys. The prediction performance of the proposed approach is much better than the conventional SVR. The proposed approach can be used for the design, optimization and analysis of engineering systems with input parameters of unequal sample sizes.

研究の動機と目的

• 従来のSVRが入力パラメータ間でサンプルサイズが等しいことを仮定しているという制限を是正すること。これは、工学的シミュレーションにおいて一般的な問題である。
• 構造的パラメータ（多数のサンプル）と材料パラメータ（少数のサンプル）のような、サンプルサイズが著しく異なる入力パラメータがある状況でのデータモデリングにおける予測精度の向上。
• サンプルサイズが大きいデータの豊富さを活用して、サンプルサイズが小さい入力の予測精度を向上させる階層的モデリングフレームワークの構築。
• 合成的な数値例と実世界の工学的応用（歯科インプラントの応力解析）の両方において、提案されたHL-SVR手法の妥当性を検証すること。

提案手法

• HL-SVRは、特定の組み合わせのサンプルサイズが大きい入力パラメータとそれに対応する応答値を用いて学習された複数の低レベルSVRモデルを構築する。
• サンプルサイズが小さい入力パラメータの各トレーニング点に対して、対応するサンプルサイズが大きいデータと応答値を用いて、個別の低レベルSVRモデルを学習する。
• 低レベルSVRモデルが予測した応答値を集約し、それらを高レベルSVRモデルのトレーニングデータとして用いる。高レベルSVRモデルは、サンプルサイズが小さい入力から予測応答値へのマッピングを学習する。
• その後、高レベルSVRモデルを用いて新しい入力組み合わせの応答値を予測し、最終的な出力は階層的構造から導出される。
• 歯科インプラントの事例研究において、構造的パラメータのトレーニングサンプルは、Latin Hypercube Sampling (LHS) を用いて全材料タイプにわたって生成された。
• 性能評価には、平均二乗誤差（RMSE）が用いられ、統計的有意性はStudentのt検定およびWilcoxon符号順位検定により検証された。

実験結果

リサーチクエスチョン

• RQ1 入力パラメータのサンプルサイズが著しく不均等な状況において、HL-SVRは従来のSVRを上回る予測性能を示すか？
• RQ2 HL-SVRの階層的構造は、不均衡なデータを伴うデータモデリングにおいて、標準的なSVRと比較して予測精度をどのように向上させるか？
• RQ3 サンプルサイズが小さいパラメータのトレーニングおよびテストデータの多様な組み合わせに対して、HL-SVRの頑健性はいかがなものか？
• RQ4 複雑で計算コストの高いシミュレーションを伴う実世界の工学的応用において、HL-SVRは優れた性能を維持するか？

主な発見

• 数値研究において、15の実験設定すべてにおいてHL-SVRは従来のSVRよりも低い平均RMSEを達成した。
• HL-SVRの平均RMSEは、従来のSVRよりも顕著に低く、Studentのt検定によるp値は0.008479、Wilcoxon符号順位検定によるp値は0.004272であり、統計的に優位であることが示された。
• 歯科インプラントの応力解析において、HL-SVRは従来のSVRよりも高い予測精度を示し、実際の工学的応用における有効性が確認された。
• HL-SVRはより高い精度を示したが、RMSEの標準偏差が高いため、従来のSVRに比べてわずかに頑健性に欠ける傾向が見られた。
• 本手法は、入力パラメータのサンプルサイズが混合するシステムのモデリングという課題を効果的に処理でき、特に材料パラメータが少数の選択肢しか持たないシミュレーションにおいて特に有効である。
• HL-SVRは、インプラント-骨界面の応力予測において、完全な有限要素解析の代替手段として実用的かつ正確な代替手段を提供する。