[論文レビュー] Improving predictions by nonlinear regression models from outlying input data

William W. Hsieh|arXiv (Cornell University)|Mar 17, 2020

Hydrological Forecasting Using AI被引用数 5

ひとこと要約

本論文は、環境科学分野における外れ値入力データの予測信頼性を向上させるために、非線形外挿を信頼性の低い非線形外挿から、学習領域内における非線形モデルの挙動に基づく線形外挿に置き換えることで、ハイブリッド非線形回帰モデル（NLR_OR）を提案する。この手法は、外れ値における悪質な予測を顕著に低減する一方で、インライヤー・データにおける高い性能を維持する。

ABSTRACT

When applying machine learning/statistical methods to the environmental sciences, nonlinear regression (NLR) models often perform only slightly better and occasionally worse than linear regression (LR). The proposed reason for this conundrum is that NLR models can give predictions much worse than LR when given input data which lie outside the domain used in model training. Continuous unbounded variables are widely used in environmental sciences, whence not uncommon for new input data to lie far outside the training domain. For six environmental datasets, inputs in the test data were classified as "outliers" and "non-outliers" based on the Mahalanobis distance from the training input data. The prediction scores (mean absolute error, Spearman correlation) showed NLR to outperform LR for the non-outliers, but often underperform LR for the outliers. An approach based on Occam's Razor (OR) was proposed, where linear extrapolation was used instead of nonlinear extrapolation for the outliers. The linear extrapolation to the outlier domain was based on the NLR model within the non-outlier domain. This NLR$_{\mathrm{OR}}$ approach reduced occurrences of very poor extrapolation by NLR, and it tended to outperform NLR and LR for the outliers. In conclusion, input test data should be screened for outliers. For outliers, the unreliable NLR predictions can be replaced by NLR$_{\mathrm{OR}}$ or LR predictions, or by issuing a "no reliable prediction" warning.

研究の動機と目的

• 学習領域から大きく外れた入力データに対して非線形回帰（NLR）モデルが性能を発揮しない問題に対処すること。
• 学習データ分布からのマハラノビス距離を用いて、外れ値のテスト入力を特定・分離すること。
• インライヤー領域におけるNLRモデルの挙動に基づいて、線形外挿を用いることで外れ値の予測信頼性を向上させること。
• 予測が信頼できない場合に警告を発行するか、代替手法に切り替えるための実用的フレームワークを提案すること。
• ハイブリッドNLR_OR手法が、純粋なNLRおよび線形回帰（LR）よりも外れ値テストケースで優れた性能を示すことを実証すること。

提案手法

• テストデータ内の外れ値検出は、学習入力データ分布からのマハラノビス距離を用いて実施される。
• NLR_ORモデルは、インライヤー領域におけるNLRモデルのフィッティングパラメータに基づいて、外れ値と分類された入力に対して線形外挿を適用する。
• 線形外挿部は、学習データの非外れ部分にのみ訓練され、これによりNLRモデルの局所的トレンドを反映する。
• 予測性能の評価には平均絶対誤差（MAE）とスピアマン順位相関を用い、インライヤーおよび外れ値サブセットにおいてNLR、LR、NLR_ORを比較する。
• 本手法は、極端な値をとる連続的かつ有界でない入力変数を有する6つの環境データセットを用いて検証された。
• NLR_ORがフォールバックとして使用されない場合、外れ値に対して「信頼できる予測なし」という警告が発行される。

実験結果

リサーチクエスチョン

• RQ1 学習入力ドメインから大きく外れたテスト入力に対して、非線形回帰モデルはどのように性能を発揮するか？
• RQ2 インライヤー領域における非線形モデルの挙動に基づく線形外挿は、外れ値入力の予測信頼性を向上させ得るか？
• RQ3 提案されたNLR_OR手法は、標準的なNLRと比較して、外れ値データにおける極めて悪い予測の頻度を低減するか？
• RQ4 外れ値テストケースにおいて、NLR_ORモデルはNLRおよび線形回帰と比較して、予測精度においてどのように差を示すか？
• RQ5 どのような条件下で、NLR予測を線形外挿または警告に置き換えるべきか？

主な発見

• 非外れ値テスト入力においては、NLRは平均絶対誤差およびスピアマン順位相関の両面で線形回帰を常に上回った。
• 外れ値テスト入力においては、NLRの予測が線形回帰のそれよりも顕著に悪く、外挿性能の低さが示された。
• NLR_OR手法は、インライヤー領域におけるNLRモデルの挙動に基づく線形外挿に置き換えることで、外れ値における極めて悪い予測の発生頻度を低減した。
• NLR_ORは外れ値テストデータにおいて、NLRおよびLRの両方を上回る傾向にあり、外れ値入力に対するロバストネスの向上を示した。
• 本研究は、入力データに外れ値のスクリーニングを実施し、そのようなデータに対する信頼性の低いNLR予測を置き換えたり、アラートを出したりするべきであることを確認した。
• 本アプローチは、入力変数がしばしば学習ドメインの境界を超過する環境モデリング分野において、予測信頼性を向上させる実用的解決策を提供する。