[論文レビュー] Towards Handling Uncertainty-at-Source in AI -- A Review and Next Steps for Interval Regression

Shaily Kabir, Christian Wagner+1 more|arXiv (Cornell University)|Apr 15, 2021

Neural Networks and Applications被引用数 6

ひとこと要約

本稿は、AIにおける区間回帰を進展させるものであり、源からの不確実性を扱う最先端の手法をレビューし、解釈可能性を向上させるための新規な区間回帰グラフ（IRG）を提案するとともに、モデル選択に関する実用的助言を提供する。数学的整合性を重視し、合成および実世界の区間データセットにおいて優れた性能を示している。

ABSTRACT

Most of statistics and AI draw insights through modelling discord or variance between sources of information (i.e., inter-source uncertainty). Increasingly, however, research is focusing upon uncertainty arising at the level of individual measurements (i.e., within- or intra-source), such as for a given sensor output or human response. Here, adopting intervals rather than numbers as the fundamental data-type provides an efficient, powerful, yet challenging way forward -- offering systematic capture of uncertainty-at-source, increasing informational capacity, and ultimately potential for insight. Following recent progress in the capture of interval-valued data, including from human participants, conducting machine learning directly upon intervals is a crucial next step. This paper focuses on linear regression for interval-valued data as a recent growth area, providing an essential foundation for broader use of intervals in AI. We conduct an in-depth analysis of state-of-the-art methods, elucidating their behaviour, advantages, and pitfalls when applied to datasets with different properties. Specific emphasis is given to the challenge of preserving mathematical coherence -- i.e., ensuring that models maintain fundamental mathematical properties of intervals throughout -- and the paper puts forward extensions to an existing approach to guarantee this. Carefully designed experiments, using both synthetic and real-world data, are conducted -- with findings presented alongside novel visualizations for interval-valued regression outputs, designed to maximise model interpretability. Finally, the paper makes recommendations concerning method suitability for data sets with specific properties and highlights remaining challenges and important next steps for developing AI with the capacity to handle uncertainty-at-source.

研究の動機と目的

• センサ出力や人的判断など、個々の測定値に内在する不確実性（内生的不確実性）をモデル化する増大するニーズに対応する。
• 下限 ≤ 上限を保証する数学的整合性を損なう可能性のある、従来の区間回帰モデルの限界を克服する。
• 新規な可視化技術、すなわち区間回帰グラフ（IRG）を用いて、区間回帰モデルの解釈可能性を向上させる。
• 中心、範囲、ばらつきなどのデータ特性に基づいて、区間回帰手法の選択に関する実用的ガイダンスを提供する。
• 線形回帰を超えた源からの不確実性を扱うAIへの拡張に向けた、主な課題と今後の研究方向性を特定する。

提案手法

• 数学的整合性（すなわち、下限 ≤ 上限を保証する）を維持できるかどうかに注目し、最先端の区間回帰モデルをレビュー・分析する。
• 複数の回帰手法を適用・比較する：センター・モデル（CM）、MinMax、制約付き回帰モデル（CRM）、制約付き右打ち切りモデル（CCRM）、制約付き区間モデル（CIM）、パワー・モデル（PM）、および線形モデル（LM c および LM w）。
• パラメータ推定における数学的整合性を維持するために、ボックス・コックス変換と正値制約を活用する。
• 最適化中に区間の有効性を保証するために、ムーアの線形結合とレイソン＆ハンソンのアルゴリズム（LHA）を実装する。
• 区間回帰グラフ（IRG）を導入する。これは2次元可視化であり、回帰子と従属変数の区間の位置（中心）と範囲（幅）を同時に表示する。
• 中心、幅、ノイズレベルにばらつきのある11の合成および実世界のデータセットを用い、RMSE、MAE、MMREなどの指標でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな不確実性構造を持つ多様なデータセットにおいて、異なる区間回帰モデルの精度と数学的整合性はどのように異なるか？
• RQ2 新規な区間回帰グラフ（IRG）は、従来の可視化手法と比較して、区間回帰モデルの解釈可能性をどの程度向上させるか？
• RQ3 幅のばらつきが著しい、または分布が歪んでいるような特定の特性を有する区間データに対して、どの回帰モデルが最も適しているか？
• RQ4 ボックス・コックス変換や正値制約といった変換・制約は、区間回帰におけるモデルの安定性と性能にどのように影響するか？
• RQ5 線形回帰を超えた源からの不確実性を扱うAIへの拡張に向けた、主な課題と未解決の問題は何か？

主な発見

• 制約付き回帰モデル（CRM）は、複数のデータセットで最小のRMSEを達成し、Set-1ではRMSE⁻ = 0.645、RMSE⁺ = 0.441を記録した。これは予測精度が優れていることを示している。
• パワー・モデル（PM）は従属変数の不確実性が著しいデータでは劣った性能を示し、Example-1ではRMSE⁺ = 7.594を記録した。これは幅のばらつきに対して感受性が高いことを示している。
• 区間回帰グラフ（IRG）は、回帰子と従属変数の区間の中心と幅の共同的影響を効果的に可視化し、モデルの解釈可能性を顕著に向上させた。
• 数学的整合性を強制するモデル（CRM、CCRM、LHAやボックス・コックスを用いたモデル）は、PM や CIM といった非整合的モデルに比べ、RMSE や MAE の観点で一貫して優れた性能を示した。
• MinMax モデルは、Set-1 で RMSE⁻ = 1.797、RMSE⁺ = 1.714 を記録し、区間境界の取り扱いにおいて優れた性能を示した。これは、区間境界の処理に強いことを示唆している。
• 区間幅のばらつきが著しいデータセット（例：Set-6 および Set-7）は、特に PM のようなモデルにとって顕著な課題をもたらした。これらのモデルは整合性と精度を維持できなかった。