[論文レビュー] Fault Tolerance in Distributed Neural Computing

А. Ю. Кулаков, Mark Zwoliński+1 more|arXiv (Cornell University)|Jan 1, 2015

Advanced Memory and Neural Computing参考文献 18被引用数 6

ひとこと要約

本稿では、同期ボトル neck を回避するための分散型、イベント駆動型時間管理を備えた分散型フィードフォワードニューラルネットワークを提案する。このネットワークは、局所的学習ルール、重みの冗長性、分散型計算を活用することで、中央集権的制御や明示的な故障検出なしに、内在的な故障耐性を示す。故障が発生しても正常なノードの割合が低下しても、90%の正確性を2%の故障ノードで維持し、5%の故障ノードでは60%を達成する。これは、故障に伴う性能低下が著しく、崩壊的障害ではなく、滑らかな劣化を示していることを示している。

ABSTRACT

With the increasing complexity of computing systems, complete hardware reliability can no longer be guaranteed. We need, however, to ensure overall system reliability. One of the most important features of artificial neural networks is their intrinsic fault-tolerance. The aim of this work is to investigate whether such networks have features that can be applied to wider computational systems. This paper presents an analysis, in both the learning and operational phases, of a distributed feed-forward neural network with decentralised event-driven time management, which is insensitive to intermittent faults caused by unreliable communication or faulty hardware components. The learning rules used in the model are local in space and time, which allows efficient scalable distributed implementation. We investigate the overhead caused by injected faults and analyse the sensitivity to limited failures in the computational hardware in different areas of the network.

研究の動機と目的

• 神経ネットワークの内在的故障耐性が、信頼性の低いハードウェア上で動作するより広範な計算システムへと拡張可能かどうかを調査すること。
• 一時的で間欠的なハードウェア障害および通信障害下における、分散型、イベント駆動型フィードフォワードニューラルネットワークの故障耐性を分析すること。
• スケーラブルで分散型のニューラルアーキテクチャにおける、部品の故障が学習および推論性能に与える影響を評価すること。
• ネットワーク構造、重みの分布、接続性が故障耐性および滑らかな劣化に与える影響を特定すること。

提案手法

• 同期ボトル neck を回避するため、分散型でイベント駆動型時間管理を備えた分散型フィードフォワードニューラルネットワークを設計すること。
• グローバルな調整なしにスケーラブルで故障に強い学習を可能にするために、時間的・空間的に局所的な学習ルールを実装すること。
• 学習段階および推論段階の両方において、神経細胞および接続部に制御された一時的障害を注入し、ハードウェアおよび通信障害をシミュレートすること。
• 20個の事前学習済みパターンにおける正しい出力確率に基づく連続的な信頼性指標を用いて、性能劣化を測定すること。
• 入力-隠れ層および隠れ-出力層間の重み分布および接続性の変化を分析し、故障感受性および耐性を評価すること。
• スケーラビリティおよび大規模システムへの一般化可能性を評価するため、2000ノードのネットワークと小さな学習データセットを用いること。

実験結果

リサーチクエスチョン

• RQ1 分散型ニューラルネットワークは、一時的で間欠的なハードウェア障害および通信障害下でも、どの程度の性能を維持できるか？
• RQ2 学習段階での故障注入が、ネットワークの一般化能力および正確性の維持にどのように影響するか？
• RQ3 重みの分布および接続構造が、故障耐性および滑らかな劣化に果たす役割は何か？
• RQ4 局所的学習ルールは、分散型システムにおける故障耐性にどのように寄与するか？
• RQ5 ニューラルネットワークにおける冗長性および自己組織化は、明示的な故障検出や回復機構なしに故障耐性を実現できるか？

主な発見

• 2%の故障ノードが存在する状況でも、ネットワークは90%の出力正確性を維持しており、低レベルの部品障害に対して強い耐性を示している。
• 5%の故障ノードが存在する場合、ネットワークは60%の正しい出力確率を達成しており、崩壊的障害ではなく、滑らかな劣化を示している。
• 10%の故障ノードが存在する場合、性能は50%の正しい出力に低下するが、故障率の上昇に伴い予測可能な線形低下を示しており、信頼性の低下が一貫している。
• 故障が学習段階に注入された場合でも、性能低下が最小限に抑えられており、動的障害状態に対しても耐性があることが示唆されている。
• 学習後、接続部における重みの分布がより均一になる傾向があり、これは高速かつ効果的な学習および故障耐性の向上と相関している。
• 入力-隠れ層間の接続よりも、隠れ-出力層間の接続の方が故障に対してより耐性があることが分かっており、故障感受性における構造的非対称性が示されている。