[논문 리뷰] A case study : Influence of Dimension Reduction on regression trees-based Algorithms -Predicting Aeronautics Loads of a Derivative Aircraft

Edouard Fournier, Stéphane Grihon외 1명|arXiv (Cornell University)|2018. 11. 16.

Aerospace and Aviation Technology인용 수 3

한 줄 요약

이 연구는 파생 항공기의 항공역학적 하중 예측을 위한 회귀 트리 기반 모델에 대해 차원 축소 기법—특히 주성분 분석(PCA), 다항식 피팅 및 그 조합—의 영향을 조사한다. 결과적으로 출력 변수에만 PCA를 적용할 경우 외삽 성능이 크게 향상되며, 랜덤 포레스트를 사용한 AdaBoost가 정확도와 계산 효율성 사이의 최적 균형을 이룬다.

ABSTRACT

In aircraft industry, market needs evolve quickly in a high competitiveness context. This requires adapting a given aircraft model in minimum time considering for example an increase of range or the number of passengers (cf A330 NEO family). The computation of loads and stress to resize the airframe is on the critical path of this aircraft variant definition: this is a consuming and costly process, one of the reason being the high dimen-sionality and the large amount of data. This is why Airbus has invested since a couple of years in Big Data approaches (statistic methods up to machine learning) to improve the speed, the data value extraction and the responsiveness of this process. This paper presents recent advances in this work made in cooperation between Airbus, ENAC and Institut de Math{é}-matiques de Toulouse in the framework of a proof of value sprint project. It compares the influence of three dimensional reduction techniques (PCA, polynomial fitting, combined) on the extrapolation capabilities of Regression Trees based algorithms for loads prediction. It shows that AdaBoost with Random Forest offers promising results in average in terms of accuracy and computational time to estimate loads on which a PCA is applied only on the outputs.

연구 동기 및 목표

• 파생 항공기 설계에서 고차원적이고 계산 비용이 큰 하중 및 응력 분석 문제를 해결한다.
• 기계 학습과 차원 축소를 활용하여 항공기 변형 개발의 계산 시간을 단축하고 반응성을 향상시킨다.
• 차원 축소가 기존 설계 영역 내에서의 내삽 외에도 회귀 트리의 외삽 능력을 향상시키는지 평가한다.
• PCA, 다항식 피팅 및 그 조합 기법의 효과성을 비교하여 하중 예측 작업의 모델 성능 향상 여부를 분석한다.
• 실제 항공기 데이터를 대상으로, 차원 축소를 적용하거나 미적용한 회귀 트리 기반 모델(예: 랜덤 포레스트, AdaBoost)의 최적화 및 검증을 수행한다.

제안 방법

• 출력 변수(예: 예비 계수)의 차원을 줄이기 위해 주성분 분석(PCA)을 적용하여 분산을 유지한다.
• 출력 공간 내 비선형 관계를 모델링하기 위한 대안 기법으로 다항식 피팅을 사용한다.
• PCA와 다항식 피팅을 조합하여 모델 일반화 및 외삽 성능 향상에 미치는 상호보완적 효과를 탐색한다.
• 다양한 회귀 트리 기반 모델을 훈련 및 검증한다: 랜덤 포레스트(RF), 랜덤 포레스트를 기반으로 한 AdaBoost(ADB-RF), 결정 트리 기반 AdaBoost(ADB-DT), 배깅, 기울기 부스팅 기반 머신(GBM).
• 5개의 교차 검증 폴드를 사용하여 초모수를 최적화하며, 지정되지 않은 경우 scikit-learn의 기본 설정을 사용한다.
• R² 및 평균 제곱 오차(MSE)와 같은 지표를 사용해 모델 성능을 평가하며, 특히 훈련 설계 영역 외부의 외삽 성능에 중점을 둔다.

실험 결과

연구 질문

• RQ1 출력 변수에 PCA를 적용할 경우, 항공기 하중 예측에서 회귀 트리 기반 모델의 외삽 성능에 어떤 영향을 미치는가?
• RQ2 PCA, 다항식 피팅 및 그 조합의 상대적 영향을 고려할 때, 모델 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 차원 축소가 고차원 항공기 데이터셋에서 훈련 데이터 분포를 초월한 회귀 트리의 일반화 능력을 향상시킬 수 있는가?
• RQ4 차원 축소와 결합했을 때, 어떤 앙상블 모델(예: 랜덤 포레스트를 사용한 AdaBoost, GBM)이 예측 정확도와 추론 속도 사이의 최적 균형을 달성하는가?
• RQ5 차원 축소를 적용할 경우 특성 기여도가 어떻게 변화하는가? 이는 하중 예측의 주요 결정 요인에 대해 어떤 시사점을 제공하는가?

주요 결과

• 출력 변수(예비 계수)에만 PCA를 적용할 경우 외삽 성능이 크게 향상되며, 입력에만 적용하거나 입력과 출력에 모두 적용한 경우보다 뛰어난 성능을 보였다.
• 랜덤 포레스트를 사용한 AdaBoost(ADB-RF)가 평균 정확도가 가장 높고 계산 효율성도 가장 우수했으며, 특히 출력에 PCA를 적용한 경우 두드러진 성능을 보였다.
• 출력에 PCA를 적용할 경우, 랜덤 포레스트 및 AdaBoost 모델의 의사결정 트리 개수(에스티메이터 수)가 크게 증가하여 변환된 공간에서 더 높은 모델 복잡성이 필요함을 시사했다.
• 특성 기여도 분석 결과 총 항공기 질량과 Z-하중 계수(요소)가 가장 영향력 있는 예측 변수임을 확인했으며, 조종면 제어 각도 및 연료 탱크 질량은 영향이 미미했다.
• 출력에 PCA를 적용한 모델는 클러스터 간 특성 기여도 분포가 더 안정적이었으며, 이는 고차원 예측 과제에서의 더 높은 강인성을 의미한다.
• AdaBoost에서 학습률이 1.0 이상일 경우, 증가한 에스티메이터 수를 상쇄할 수 있었으며, 이는 복잡한 감소된 차원 공간에서 모델 깊이와 학습률 간의 상충 관계를 시사한다.