[論文レビュー] Resilience of Deep Learning applications: a systematic literature review of analysis and hardening techniques

Cristiana Bolchini, Luca Cassano+1 more|arXiv (Cornell University)|Sep 27, 2023

Radiation Effects in ElectronicsEngineering被引用数 3

ひとこと要約

本システマティックレビューでは、2019年から2023年までの71件の研究（深層学習のハードウェア故障に対するレジliエンス）を分析し、故障モデル、誤り検出技術、強靱化戦略を分類している。主な研究動向、ツール支援、未解決の課題を特定し、安全で重要な応用分野におけるレジリエントなDLシステムの今後の開発を支援する統一フレームワークを提案する。

ABSTRACT

Machine Learning (ML) is currently being exploited in numerous applications being one of the most effective Artificial Intelligence (AI) technologies, used in diverse fields, such as vision, autonomous systems, and alike. The trend motivated a significant amount of contributions to the analysis and design of ML applications against faults affecting the underlying hardware. The authors investigate the existing body of knowledge on Deep Learning (among ML techniques) resilience against hardware faults systematically through a thoughtful review in which the strengths and weaknesses of this literature stream are presented clearly and then future avenues of research are set out. The review is based on 220 scientific articles published between January 2019 and March 2024. The authors adopt a classifying framework to interpret and highlight research similarities and peculiarities, based on several parameters, starting from the main scope of the work, the adopted fault and error models, to their reproducibility. This framework allows for a comparison of the different solutions and the identification of possible synergies. Furthermore, suggestions concerning the future direction of research are proposed in the form of open challenges to be addressed.

研究の動機と目的

• 安全で重要なシステムにおける深層学習のハードウェア故障に対する耐性に関する現在の研究動向をマッピングすること。
• 故障モデル、誤りモデル、DLフレームワークに基づいて、既存の手法とツールを分類し、検索可能性を向上させること。
• 163件の研究から、一時的および恒久的なハードウェア故障に焦点を当て、研究ギャップと相乗効果を特定すること。
• 耐性のあるDLソリューションのエコシステムを構築するにあたり、未解決の課題と今後の研究方向性を提案すること。
• 被引用数および共同著者分析を通じて、既存のツールとフレームワークの成熟度と影響を評価すること。

提案手法

• PRISMAガイドラインに従いシステマティックレビューを実施し、関連性と範囲に基づいて163件の論文をフィルタリングし、71件を詳細分析対象とした。
• 故障モデル（一時的／恒久的）、誤りモデル、DLフレームワーク（例：PyTorch、TensorFlow）、強靱化技術に基づく分類フレームワークを構築した。
• VOSviewerを用いて共同著者ネットワークと出版機関を分析し、研究クラスターや協働の傾向を特定した。
• 論文間の被引用関係と参照関係を分析し、分野内での影響力と知識の流れを評価した。
• Fault Injectionおよび耐性評価を支援する13のオープンソースツール（TensorFI2、Ares、Rangerなど）を収集・分類した。
• 研究動向、ツール支援、未解決の課題に関する構造的概要に、発見を統合した。

実験結果

リサーチクエスチョン

• RQ1 近年の深層学習レジリエンスに関する研究で、一般的に使用されている故障モデルと誤りモデルは何か？
• RQ2 異なる深層学習フレームワークにおいて、故障インジェクションおよび耐性評価技術はどのように分類されるか？
• RQ3 ハードウェア故障に対するDLモデルの分析および強靱化に、最も頻繁に使用されているツールとフレームワークは何か？
• RQ4 DLレジリエンス分野における主要な研究クラスターや協働ネットワークは何か？
• RQ5 深層学習システムにおけるハードウェア故障耐性を達成するために、主な未解決の課題と今後の研究方向性は何か？

主な発見

• 2019年以降、深層学習におけるハードウェア故障耐性に関する研究コミュニティの関心が著しく拡大しており、年間の論文発表件数が安定して増加している。
• 一般的な故障モデルは、重み、活性化、パラメータにおける一時的および恒久的故障であり、故障インジェクションが主な評価手法として用いられている。
• 合計13のオープンソースツールが同定され、TensorFI2、Ranger、FIdelityなどを含み、複数のDLフレームワークで故障インジェクションおよび耐性分析を支援している。
• 共同著者分析から14の明確な研究クラスタが特定され、68名の著者が3本以上の論文に参加しており、成熟した協働的な研究エコシステムが存在することが示された。
• IEEE Transactions on Dependable and Secure Computing や ACM Transactions on Embedded Computing といった出版機関が、本分野の研究発信の中心的役割を果たしている。
• 進展はあるが、故障モデルの標準化、再現性の向上、耐性評価および強靱化のための統一エコシステム構築の面で、依然として大きな課題が残っている。