[論文レビュー] Wide-Residual-Inception Networks for Real-time Object Detection

Youngwan Lee, Byeonghak Yim+5 more|arXiv (Cornell University)|Feb 4, 2017

Advanced Neural Network Applications参考文献 1被引用数 7

ひとこと要約

本論文は、残差接続と複数の受容 field を持つインセプションユニットを組み合わせた浅く広いアーキテクチャである wide-residual-inception (WR-Inception) ネットワークを提案する。このネットワークはリアルタイムのオブジェクト検出を可能にし、CIFAR-10/100 で最先端の精度を達成するとともに、KITTI データセットにおいても mAP と mAR で ResNet-101 を上回り、組み込みボード上で 16 FPS で 3.85× 高速に動作し、メモリ使用量は 8.3× 少ない。

ABSTRACT

Since convolutional neural network(CNN)models emerged,several tasks in computer vision have actively deployed CNN models for feature extraction. However,the conventional CNN models have a high computational cost and require high memory capacity, which is impractical and unaffordable for commercial applications such as real-time on-road object detection on embedded boards or mobile platforms. To tackle this limitation of CNN models, this paper proposes a wide-residual-inception (WR-Inception) network, which constructs the architecture based on a residual inception unit that captures objects of various sizes on the same feature map, as well as shallower and wider layers, compared to state-of-the-art networks like ResNet. To verify the proposed networks, this paper conducted two experiments; one is a classification task on CIFAR-10/100 and the other is an on-road object detection task using a Single-Shot Multi-box Detector(SSD) on the KITTI dataset.

研究の動機と目的

• 自律走行車などのリアルタイム組み込みシステムにおける深層畳み込みニューラルネットワーク（CNN）の高い計算コストとメモリ使用量を低減すること。
• リソース制約のあるプラットフォーム向けに、軽量でありながら高精度な特徴抽出器を開発すること。
• 深層残差ネットワークに比べ、小サイズのオブジェクトの検出性能を向上させるとともに、推論時間を短縮すること。
• WR-Inception ネットワークが実用的な組み込み環境における深層ネットワーク（例：ResNet-101）の代替として実現可能であることを検証すること。

提案手法

• 異なるカーネルサイズの並列畳み込みパスとスキップ接続を組み合わせた残差インセプションユニットを提案し、マルチスケール特徴を捉える。
• 層数は少ないがフィルタが広いことで、FLOPs とメモリ使用量を削減する浅く広いネットワークアーキテクチャ（WR-Inception）を設計。
• 勾配消失を軽減し、計算効率の良いがやや深いネットワークの学習を安定化させるために、残差接続を採用。
• バッチ正則化と ReLU 活性化関数を用いて、学習の安定性と収束性を向上。
• KITTI データセットにおけるオブジェクト検出のため、WR-Inception を Single-Shot Multi-box Detector (SSD) の特徴抽出器として訓練。
• 分類タスクの CIFAR-10/100 および検出タスクの KITTI における性能を評価し、推論速度、メモリ使用量、精度を比較。

実験結果

リサーチクエスチョン

• RQ1 浅く広い CNN アーキテクチャが、ResNet-101 のような深層残差ネットワークと同等またはそれ以上の精度を達成できるか？
• RQ2 提案された残差インセプションユニットがマルチスケール特徴を効果的に捉え、小サイズのオブジェクトの検出性能を向上させられるか？
• RQ3 WR-Inception ネットワークが、NVIDIA Jetson TX1 などの組み込みプラットフォーム上でリアルタイム推論（≥15 FPS）を達成できるか？
• RQ4 KITTI データセットにおいて、WR-Inception ネットワークはモデルサイズ、推論速度、mAP/mAR の点で ResNet-101 に比べてどのように差をつけるか？
• RQ5 WR-Inception ネットワークは、検出性能を損なわずに、計算コストとメモリ使用量をどの程度低減できるか？

主な発見

• WR-Inception は CIFAR-10 で 4.82%、CIFAR-100 で 23.12% のテスト誤差を達成し、164層の Pre-ResNet を上回った。
• KITTI データセットでは、WR-Inception を搭載した SSD が 61.18% の mAP と 73.51% の mAR を達成し、ResNet-101 を搭載した SSD よりも mAP で 4.19%、mAR で 5.08% 高かった。
• WR-Inception を搭載した SSD は、NVIDIA Jetson TX1 で 16 FPS で動作し、ResNet-101 を搭載した SSD よりも 3.85× 速かった。
• WR-Inception モデルは、ResNet-101 に比べて 8.3× 少ないメモリを使用しており、組み込みおよびモバイルプラットフォームに非常に適している。
• WR-Inception-l2 バリエーションは、KITTI で 63.03% の mAP と 75.14% の mAR を達成し、スケーラビリティとロバストネスを示した。
• ネットワークの性能は、残差インセプションユニットが多様な受容 field を効率的に捉える能力に起因し、小・中サイズのオブジェクトの検出を向上させた。