[論文レビュー] OnionNet: Sharing Features in Cascaded Deep Classifiers

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|Aug 9, 2016

Advanced Neural Network Applications参考文献 24被引用数 2

ひとこと要約

OnionNetは、検索タスクにおける推論を高速化するために、段階間で中間特徴マップを共有するキャスケード型ディーブラーニングアーキテクチャを提案する。後続の段階が以前の特徴の深さと幅を拡張しつつ、計算済みの表現を再利用することで、モノリシックなアーキテクチャや非共有キャスケードと比較して顕著な高速化を達成し、精度の低下は最小限に抑えられる。

ABSTRACT

The focus of our work is speeding up evaluation of deep neural networks in retrieval scenarios, where conventional architectures may spend too much time on negative examples. We propose to replace a monolithic network with our novel cascade of feature-sharing deep classifiers, called OnionNet, where subsequent stages may add both new layers as well as new feature channels to the previous ones. Importantly, intermediate feature maps are shared among classifiers, preventing them from the necessity of being recomputed. To accomplish this, the model is trained end-to-end in a principled way under a joint loss. We validate our approach in theory and on a synthetic benchmark. As a result demonstrated in three applications (patch matching, object detection, and image retrieval), our cascade can operate significantly faster than both monolithic networks and traditional cascades without sharing at the cost of marginal decrease in precision.

研究の動機と目的

• 検索シナリオにおけるネガティブ例の深層ニューラルネットワーク評価の高コストを軽減すること。
• 再計算を避けるために、キャスケード段階間で中間特徴マップを再利用することで推論時間を短縮すること。
• 後続段階が以前の特徴に新しい層と新しい特徴チャネルを追加できるように、柔軟なアーキテクチャ設計を可能にすること。
• すべての段階を統合的な損失関数でエンドツーエンドに訓練することで、最適な特徴共有とパフォーマンスを保証すること。
• 特徴共有キャスケードが、モノリシックネットワークと非共有キャスケードを上回る性能を示すことを実証すること。

提案手法

• 各段階が前の段階の特徴マップセットを拡張するキャスケードアーキテクチャを設計し、中間表現の再利用を可能にする。
• 後続段階が以前の特徴に新しい畳み込み層と追加の特徴チャネルを追加できるようにし、深さと幅の拡張を実現する。
• 中間特徴マップを段階間で共有することで、特に計算コストの高い初期層の冗長な計算を回避する。
• すべての段階を統合的な損失関数でエンドツーエンドに訓練し、すべての段階を同時に最適化し、表現の一貫性を維持する。
• 理論的挙動を検証するため、陽性例の割合を変化させた状況下での時間計算量を分析するための合成ベンチマークを用いる。
• 実世界のタスク（パッチマッチング、オブジェクト検出、画像検索）で評価し、実用的な高速化を実証する。

実験結果

リサーチクエスチョン

• RQ1 キャスケード型ディープ分類器間での特徴共有が、精度を損なわせずに推論時間を顕著に短縮できるか？
• RQ2 陽性例と陰性例の比率が変化する状況下で、OnionNetの計算コストはモノリシックネットワークや非共有キャスケードと比較してどの程度異なるか？
• RQ3 後続段階で層とチャネルを追加できるアーキテクチャの柔軟性が、効率性とパフォーマンスにどの程度寄与するか？
• RQ4 モデルパラメータの削減と特徴再利用が、速度と精度のトレードオフに与える影響は何か？
• RQ5 実世界の展開において、GPUの実行オーバーヘッドが理論的な高速化予測にどの程度影響を及えるか？

主な発見

• OnionNetは、パッチマッチング、オブジェクト検出、画像検索において、モノリシックネットワークや非共有キャスケードと比較して顕著な高速化を達成し、精度の低下は最小限に抑えられる。
• 理論的分析から、陽性例の割合（p）に関わらず、OnionNetが時間コストを一貫して低減することが示された。特に最初の段階が広い場合（例：RW3 対 RW1）に最大の利点が得られる。
• 実測実行時間は理論的傾向を確認しており、GPUのカーネル起動オーバーヘッドや非線形的なGPUパフォーマンス特性の影響により、小さなまたは弱い最初の段階ネットワークでは利点が減少する可能性がある。
• 非共有キャスケードは陽性例の割合が低い場合（p）にのみモノリシックモデルを上回るが、OnionNetは特徴再利用とパrameter削減のおかげで、すべてのp値で優位性を維持する。
• 最初の段階ネットワークが相対的に広い場合に、OnionNetは最も効果的に機能する。これは共有計算と冗長性の低減による恩恵を最も受けるからである。
• 二段階キャスケードは実用的で効果的であるが、三段階以上になるとオーバーヘッドの増加と利得の減少により実用的でなくなる。