[論文レビュー] Graceful Degradation and Related Fields

Jack Dymond|arXiv (Cornell University)|Jun 21, 2021

Adversarial Robustness in Machine Learning参考文献 143被引用数 4

ひとこと要約

本論文は機械学習における滑らかな劣化の問題を形式化し、自己-containedな不確実性推定を特徴とする受動的（passive）手法と、オラクルに情報提供された更新を特徴とする能動的（active）手法に分類する分類法を提案する。分布外予測における過信を低減する不確実性認識モデリングの重要性を強調し、ゼロショット学習、ドメイン適応、アクティブラーニングにおける不確実性指標の統合を提唱することで、重要分野における安全な導入を可能にする。

ABSTRACT

When machine learning models encounter data which is out of the distribution on which they were trained they have a tendency to behave poorly, most prominently over-confidence in erroneous predictions. Such behaviours will have disastrous effects on real-world machine learning systems. In this field graceful degradation refers to the optimisation of model performance as it encounters this out-of-distribution data. This work presents a definition and discussion of graceful degradation and where it can be applied in deployed visual systems. Following this a survey of relevant areas is undertaken, novelly splitting the graceful degradation problem into active and passive approaches. In passive approaches, graceful degradation is handled and achieved by the model in a self-contained manner, in active approaches the model is updated upon encountering epistemic uncertainties. This work communicates the importance of the problem and aims to prompt the development of machine learning strategies that are aware of graceful degradation.

研究の動機と目的

• 分布外データを処理する際に性能低下を最小限に抑えるという意味で、視覚システムを含む機械学習における滑らかな劣化の概念を形式化すること。
• 安全で重要な応用分野において、誤った予測に対するモデルの過信が引き起こすリスクという重要な問題に取り組むこと。
• 受動的アプローチ（モデル内での不確実性処理）と能動的アプローチ（不確実性クエリによるモデル更新）を区別する、新しい分類法を提唱すること。
• 滑らかな劣化を可能にするために不確実性推定が果たす中心的役割を強調し、主要な機械学習分野における統合を提唱すること。
• ゼロショットラーニング、ドメイン適応、メタラーニング、アクティブラーニングにおける不確実性認識戦略の研究を促進し、現実世界における頑健性を向上させること。

提案手法

• 分布外データを処理する際の性能低下を最小限に抑えることとして、滑らかな劣化の形式的定義を提案する。
• 滑らかな劣化を受動的（モデル内での不確かな処理）と能動的（オラクルに情報提供された更新）に分類する、新しい分類法を導入する。
• データ／トレーニングベース、モデルベース、および事後不確実性推定によるエピステミック不確実性の受動的アプローチをレビューする。
• ゼロショット分類および階層的分類を、未学習クラスへの一般化を向上させる受動的戦略として分析する。
• アクティブラーニングや継続的ラーニング、ドメイン適応、メタラーニングを含む、不確実性駆動のモデル更新のための能動的アプローチを分析する。
• GZSL やドメイン適応などの既存手法に、特に補正された信頼度スコアを含む不確実性認識技術を統合することで、過信を低減するよう提言する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして機械学習モデルを設計すれば、分布外データに遭遇した際に性能が制御的・予測可能な方法で劣化するようにできるか？
• RQ2 受動的アプローチと能動的アプローチの主な違いは何か。それぞれが最も効果を発揮する状況はどのようなものか？
• RQ3 深層学習モデルに不確実性推定を正確かつ信頼性高く統合するにはどうすればよいか？ これにより誤った予測に対する過信を防げるか？
• RQ4 ゼロショットラーニングやドメイン適応といった既存手法は、滑らかな劣化を本質的にどの程度サポートしているのか。また、どこで不足しているのか？
• RQ5 特にストリームベースのサンプリングを含むアクティブラーニングは、展開済みシステムにおけるリアルタイムでの不確実性駆動のモデル精錬をどのように可能にするか？

主な発見

• 最先端の深層学習モデルは、分布外データに対してしばしば過信した予測を出力するため、安全で重要なシステムで深刻な障害を引き起こすことがある。
• 事後不確実性推定や階層ベイジアン推論といった受動的アプローチは、外部フィードバックなしにモデルの信頼度の補正を改善できる。
• ゼロショットラーニングやドメイン適応手法は、しばしば信頼度の補正よりも精度を優先するため、不確実性認識が不十分である。
• アクティブラーニング、特にストリームベースのサンプリングは、リアルタイムでのモデル精錬のための有望な道筋を提供するが、滑らかな劣化の文脈ではまだ十分に検討されていない。
• ゼロショットラーニングとドメイン適応の間には、両者とも未学習のラベルなしデータにアクセスできるトランスダクティブ設定において、顕著な相互浸透の可能性がある。
• 既存の機械学習パラダイムに不確実性認識技術——特に補正された信頼度スコア——を統合することが、安全で実用可能なシステムを実現するために不可欠である。