[論文レビュー] A case study : Influence of Dimension Reduction on regression trees-based Algorithms -Predicting Aeronautics Loads of a Derivative Aircraft

Edouard Fournier, Stéphane Grihon+1 more|arXiv (Cornell University)|Nov 16, 2018

Aerospace and Aviation Technology被引用数 3

ひとこと要約

本研究は、誘導機器の航空力学的荷重予測に用いる回帰木ベースのモデルに対する次元削減（特にPCA、多項式フィッティング、およびそれらの組み合わせ）の影響を調査する。PCAを出力にのみ適用した場合、外挿性能が顕著に向上し、AdaBoostとランダムフォレストの組み合わせが精度と計算効率のバランスを最も良く果たしていることが判明した。

ABSTRACT

In aircraft industry, market needs evolve quickly in a high competitiveness context. This requires adapting a given aircraft model in minimum time considering for example an increase of range or the number of passengers (cf A330 NEO family). The computation of loads and stress to resize the airframe is on the critical path of this aircraft variant definition: this is a consuming and costly process, one of the reason being the high dimen-sionality and the large amount of data. This is why Airbus has invested since a couple of years in Big Data approaches (statistic methods up to machine learning) to improve the speed, the data value extraction and the responsiveness of this process. This paper presents recent advances in this work made in cooperation between Airbus, ENAC and Institut de Math{é}-matiques de Toulouse in the framework of a proof of value sprint project. It compares the influence of three dimensional reduction techniques (PCA, polynomial fitting, combined) on the extrapolation capabilities of Regression Trees based algorithms for loads prediction. It shows that AdaBoost with Random Forest offers promising results in average in terms of accuracy and computational time to estimate loads on which a PCA is applied only on the outputs.

研究の動機と目的

• 誘導機器設計における高次元で計算コストの高い荷重・応力解析の課題に対処する。
• 機械学習と次元削減を活用することで、航空機変種開発の計算時間短縮と応答性向上を図る。
• 次元削減が、既知の設計空間内での内挿を超えて回帰木の外挿能力を向上させるかどうかを評価する。
• PCA、多項式フィッティング、およびそれらの組み合わせの有効性を比較し、荷重予測タスクにおけるモデル性能向上に寄与するかを検証する。
• 実世界の航空力学的データを対象に、次元削減を適用・非適用した回帰木ベースのモデル（例：ランダムフォレスト、AdaBoost）の最適化と妥当性検証を行う。

提案手法

• 出力変数（余剰係数）の次元を削減するために主成分分析（PCA）を適用し、分散を保持する。
• 非線形関係を出力空間でモデル化する代替手法として、多項式フィッティングを次元削減技術として用いる。
• PCAと多項式フィッティングを組み合わせ、モデルの一般化および外挿性能への相乗効果を検証する。
• ランダムフォレスト（RF）、AdaBoostとRFの組み合わせ（ADB-RF）、AdaBoostと決定木の組み合わせ（ADB-DT）、バギング、勾配ブースティングマシン（GBM）の複数の回帰木ベースのモデルを訓練・検証する。
• ハイパーパrameterの最適化に5分割交差検証を用い、指定がなければscikit-learnのデフォルト設定を採用する。
• R²や平均二乗誤差（MSE）などの指標を用いてモデル性能を評価し、訓練済み設計空間外の外挿性能に特に注目する。

実験結果

リサーチクエスチョン

• RQ1 出力変数にPCAを適用することで、航空機荷重予測における回帰木ベースのモデルの外挿性能にどのような影響を与えるか？
• RQ2 PCA、多項式フィッティング、およびそれらの組み合わせが、モデルの精度と計算効率に与える相対的影響は何か？
• RQ3 次元削減は、高次元の航空力学的データセットにおいて、訓練データ分布を超えた回帰木の一般化能力を向上させることができるか？
• RQ4 次元削減を組み合わせた際、予測精度と推論速度のバランスが最も良いエンsemblesモデル（例：AdaBoostとRFの組み合わせ、GBM）はどれか？
• RQ5 次元削減を適用した場合、特徴量の重要度はどのように変化するか？これは荷重予測の主な駆動要因について何を示唆しているか？

主な発見

• 出力変数（余剰係数）にのみPCAを適用した場合、入力にのみ適用するか、両者を組み合わせたアプローチよりも顕著に外挿性能が向上した。
• AdaBoostとランダムフォレスト（ADB-RF）が、平均精度が最も高く、計算効率も最良であった。特に出力にPCAを適用した場合に顕著であった。
• 出力にPCAを適用した場合、ランダムフォレストおよびAdaBoostモデルの推定器数が顕著に増加しており、変換された空間でより高いモデル複雑性を必要としていることが示された。
• 特徴量の重要度分析から、全機体質量とZ方向荷重係数が最も影響力のある予測要因であると確認された。一方、制御面の変位と燃料タンク質量は最小限の影響であった。
• 出力にPCAを適用したモデルでは、クラスタ間で特徴量の重要度分布がより安定しており、高次元予測タスクにおけるモデルの頑健性が向上していることが示唆された。
• AdaBoostにおける学習率が1.0を超える場合、推定器数の増加を補償することができ、複雑な低次元空間においてモデルの深さと学習率のトレードオフが顕在化している。