[논문 리뷰] High-low level support vector regression prediction approach (HL-SVR) for data modeling with input parameters of unequal sample sizes

Maolin Shi, Wei Sun외 2명|arXiv (Cornell University)|2019. 05. 30.

Industrial Vision Systems and Defect Detection참고 문헌 44인용 수 5

한 줄 요약

이 논문은 입력 파rameter의 표본 수가 다를 경우를 고려한 엔지니어링 시스템 모델링을 위한 새로운 SVR 기반 접근법인 High-Low Level Support Vector Regression (HL-SVR)를 제안한다. 이 방법은 표본 수가 많은 파rameter에 대해 저수준 SVR 모델을 사용하고, 표본 수가 적은 파rameter에 대해 고수준 SVR 모델을 사용하여, 기존의 SVR에 비해 예측 정확도를 크게 향상시킨다. 수치적 사례와 임플란트 치의 사례 연구에서 검증되었다.

ABSTRACT

Support vector regression (SVR) has been widely used to reduce the high computational cost of computer simulation. SVR assumes the input parameters have equal sample sizes, but unequal sample sizes are often encountered in engineering practices. To solve this issue, a new prediction approach based on SVR, namely as high-low-level SVR approach (HL-SVR) is proposed for data modeling of input parameters of unequal sample sizes in this paper. The proposed approach is consisted of low-level SVR models for the input parameters of larger sample sizes and high-level SVR model for the input parameters of smaller sample sizes. For each training point of the input parameters of smaller sample sizes, one low-level SVR model is built based on its corresponding input parameters of larger sample sizes and their responses of interest. The high-level SVR model is built based on the obtained responses from the low-level SVR models and the input parameters of smaller sample sizes. Several numerical examples are used to validate the performance of HL-SVR. The experimental results indicate that HL-SVR can produce more accurate prediction results than conventional SVR. The proposed approach is applied on the stress analysis of dental implant, which the structural parameters have massive samples but the material of implant can only be selected from several Ti and its alloys. The prediction performance of the proposed approach is much better than the conventional SVR. The proposed approach can be used for the design, optimization and analysis of engineering systems with input parameters of unequal sample sizes.

연구 동기 및 목표

• 기존의 SVR가 입력 파rameter 간 표본 수가 동일하다는 가정을 하고 있지만, 이는 엔지니어링 시뮬레이션에서 흔한 문제이므로 이를 해결하고자 한다.
• 구조적 파rameter(많은 표본 수)와 재료적 파ram터(적은 표본 수)처럼 일부 입력 파ram터의 표본 수가 극명하게 다를 경우의 데이터 모델링에서 예측 정확도를 향상시키고자 한다.
• 표본 수가 많은 데이터의 풍부함을 활용하여 표본 수가 적은 입력 파ram터의 예측 성능을 향상시키는 계층적 모델링 프레임워크를 개발하고자 한다.
• 제안된 HL-SVR 방법을 합성 수치 예제와 실제 엔지니어링 응용 사례인 임플란트 응력 분석에 대해 검증하고자 한다.

제안 방법

• HL-SVR는 특정 조합의 표본 수가 많은 입력 파ram터와 그에 대응하는 반응값을 기반으로 훈련된 다수의 저수준 SVR 모델을 구성한다.
• 표본 수가 적은 입력 파ram터의 각 훈련 포인트에 대해, 해당하는 표본 수가 많은 데이터와 반응값을 사용하여 별도의 저수준 SVR 모델을 훈련한다.
• 저수준 SVR 모델이 예측한 반응값을 집계하여 고수준 SVR 모델의 훈련 데이터로 사용하며, 이 고수준 SVR 모델은 표본 수가 적은 입력 파ram터를 예측 반응값으로 매핑한다.
• 고수준 SVR 모델은 새로운 입력 조합에 대한 반응값을 예측하는 데 사용되며, 최종 출력은 계층적 구조에서 유도된다.
• 임플란트 사례 연구에서 구조적 파ram터의 훈련 샘플은 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling, LHS)을 사용하여 모든 재료 유형에 대해 생성된다.
• 성능 평가는 근사제곱오차의 제곱근(Root Mean Square Error, RMSE)을 사용하며, 통계적 유의성은 스터디언의 t-검정과 윌코크슨 부호 순위 검정을 통해 검증된다.

실험 결과

연구 질문

• RQ1 입력 파ram터의 표본 수가 극명하게 다를 경우, HL-SVR가 기존의 SVR보다 예측 성능을 뛰어나게 할 수 있는가?
• RQ2 HL-SVR의 계층적 구조는 불균형한 데이터를 가진 모델링에서 표준 SVR에 비해 예측 정확도를 어떻게 향상시키는가?
• RQ3 표본 수가 적은 파ram터의 다양한 훈련 및 테스트 데이터 조합에 대해 HL-SVR의 강인성은 어떠한가?
• RQ4 복잡하고 계산 비용이 큰 시뮬레이션을 포함한 실제 엔지니어링 응용 분야에서 HL-SVR는 여전히 뛰어난 성능을 유지하는가?

주요 결과

• 수치적 연구에서 15개의 실험 설정 전반에 걸쳐 HL-SVR는 기존의 SVR보다 더 낮은 평균 RMSE를 기록했다.
• HL-SVR의 평균 RMSE는 SVR보다 유의미하게 낮았으며, 스터디언의 t-검정에서 p-값 0.008479, 윌코크슨 부호 순위 검정에서 p-값 0.004272를 기록하여 통계적으로 뛰어난 성능을 입증했다.
• 임플란트 응력 분석 사례에서 HL-SVR는 기존의 SVR보다 더 높은 예측 정확도를 보였으며, 실제 엔지니어링 응용 분야에서의 효과성을 확인했다.
• HL-SVR는 더 높은 정확도를 보였지만, RMSE의 표준편차가 더 높아 기존의 SVR에 비해 略로운 강인성의 저하를 보였다.
• 이러한 접근법은 특히 재료 파ram터가 몇 가지로 제한된 시뮬레이션 환경에서 다양한 표본 수를 가진 입력을 갖는 시스템 모델링 문제를 효과적으로 해결한다.
• HL-SVR는 임플란트-골 접합부의 응력 예측에 대해 전체 유한요소 모델링의 실용적이고 정확한 대안을 제공한다.