[論文レビュー] Improving Anytime Prediction with Parallel Cascaded Networks and a Temporal-Difference Loss

Michael L. Iuzzolino, Michael C. Mozer+1 more|arXiv (Cornell University)|Feb 19, 2021

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、並列で状態保持された更新と伝送遅延を組み込んだ段階的ResNetアーキテクチャを提案し、任意の時刻に予測を出力できる「いつでも予測」を可能にした。時間差損失（TD損失）を用いλ < 1とすることで、速度-精度トレードオフが著しく改善され、動的出力軌道を活用することで推論の精度と耐障害性が向上し、最先端のいつでも予測手法を上回った。

ABSTRACT

Although deep feedforward neural networks share some characteristics with the primate visual system, a key distinction is their dynamics. Deep nets typically operate in serial stages wherein each layer completes its computation before processing begins in subsequent layers. In contrast, biological systems have cascaded dynamics: information propagates from neurons at all layers in parallel but transmission occurs gradually over time, leading to speed-accuracy trade offs even in feedforward architectures. We explore the consequences of biologically inspired parallel hardware by constructing cascaded ResNets in which each residual block has propagation delays but all blocks update in parallel in a stateful manner. Because information transmitted through skip connections avoids delays, the functional depth of the architecture increases over time, yielding anytime predictions that improve with internal-processing time. We introduce a temporal-difference training loss that achieves a strictly superior speed-accuracy profile over standard losses and enables the cascaded architecture to outperform state-of-the-art anytime-prediction methods. The cascaded architecture has intriguing properties, including: it classifies typical instances more rapidly than atypical instances; it is more robust to both persistent and transient noise than is a conventional ResNet; and its time-varying output trace provides a signal that can be exploited to improve information processing and inference.

研究の動機と目的

• 生物学的にインspiredな並列ハードウェアと伝送遅延が深層ニューラルネットワークに与える計算的影響を調査すること。
• プリミティブ皮質処理に類似した段階的ダイナミクスをモデル化することで、逐次的でレイヤー単位の深層ネットワークの限界を克服すること。
• 時間的ダイナミクスを活用する新しい学習目的を導入し、いつでも予測の性能を向上させること。
• 段階的ネットワークにTD損失を適用した場合、既存のいつでも予測手法を精度と耐障害性の両面で上回ることを示すこと。
• 段階的モデルの時間変動する出力軌道が、OOD検出などの下流タスクに有用な情報を提供できることを示すこと。

提案手法

• 各残差ブロックに伝送遅延を導入し、すべてのブロックを状態保持的に並列に更新できるように段階的ResNetを構築する。
• スキップ接続を用いて初期特徴の高速伝達を可能にし、時間経過とともに機能的深さが増すようにし、いつでも予測を可能にする。
• λ < 1の時間差損失（TD損失）を適用してネットワークを学習させ、最終出力だけでなく中間段階の予測も最適化する。
• 時間方向に展開した状態保持型推論プロセスを採用し、各ブロックの出力が以前のブロックからの遅延入力に基づいて時間経過とともに変化するようにする。
• 各時刻におけるモデル出力を、max softmax、エントロピー、クラス事後確率、またはログチットとして表現し、OOD検出などの下流タスクに活用する。
• CIFAR-10、ImageNet、LSUN、SVHNの各データセットで手法を検証し、時間的軌道を用いたOOD検出性能をAUROCとFPR@95%TPRで評価した。

実験結果

リサーチクエスチョン

• RQ1 並列更新と伝送遅延を有する段階的ダイナミクスは、標準的な逐次的ResNetsと比較して、いつでも予測性能を向上させることができるか？
• RQ2 λ < 1の時間差損失は、標準的な交差エントロピー損失やλ=1のTD損失と比較して、より優れた速度-精度トレードオフを達成できるか？
• RQ3 段階的ネットワークの時間変動する出力軌道は、分布外検出のような下流タスクに追加の情報を提供できるか？
• RQ4 従来のResNetsと比較して、段階的アーキテクチャはノイズや異常入力に対してより強固か？
• RQ5 段階的ネットワークの動的特性（例：代表的インスタンスの迅速な分類）は、アーキテクチャと学習の両方の要因によって生じるのか、それとも一方が主因か？

主な発見

• TD(λ)損失を用いた段階的ResNetは、最先端のいつでも予測手法と比較して、厳密に優れた速度-精度トレードオフを達成した。
• モデルは、典型的（代表的）なインスタンスを、異常または外れ値のインスタンスよりも迅速に分類しており、粗いから詳細な意味的処理の流れを反映している。
• 時間経過とともに変化する推論プロセスのおかげで、段階的アーキテクチャは、恒常的および一時的なノイズに対して、標準的なResNetsよりも耐障害性が高い。
• 段階的モデルの時間的出力軌道は、分布外検出に価値ある信号を提供し、最終的漸近出力のみを用いる場合と比較してAUROCが向上し、FPR@95%TPRが低減した。
• TD損失においてλ < 1で学習させることで、λ = 1の場合よりも優れた性能が得られ、中間段階の監視が表現学習と予測品質の両方を向上させることを示した。
• 段階的モデルのダイナミクスにより、漸近的出力以上の推論が可能となり、時間変動する出力が情報処理の向上に活用できることを示した。