[論文レビュー] Deep Image: Scaling up Image Recognition

Wu Ren, Shengen Yan+3 more|arXiv (Cornell University)|Jan 13, 2015

Advanced Neural Network Applications参考文献 54被引用数 330

ひとこと要約

Deep Image は、独自のスパコン、最適化された並列アルゴリズム、より大きな深層ニューラルネットワーク、高度なデータオーグメンテーション、マルチスケールの高解像度入力を用いたスケーラブルな画像認識システムを提案する。エンドツーエンドのディープラーニング最適化により、複数のコンピュータビジョンベンチマークで最先端のパフォーマンスを達成する。

ABSTRACT

We present a state-of-the-art image recognition system, Deep Image, developed using end-to-end deep learning. The key components are a custom-built supercomputer dedicated to deep learning, a highly optimized parallel algorithm using new strategies for data partitioning and communication, larger deep neural network models, novel data augmentation approaches, and usage of multi-scale high-resolution images. Our method achieves excellent results on multiple challenging computer vision benchmarks.

研究の動機と目的

• 大規模な視覚データセットを高精度で処理できるスケーラブルな画像認識システムの開発。
• 高解像度画像上で大規模なモデルを効率的にトレーニングできる現行のディープラーニングシステムの限界の解消。
• 新規のデータオーグメンテーションおよびマルチスケール入力処理を活用して認識精度の向上。
• 分散トレーニングにおける通信およびデータパーティショニングを最適化し、収束速度とスケーラビリティの向上。

提案手法

• ディープラーニングワークロードの高速化を目的として、特別に設計された独自のスパコンを活用。
• データパーティショニングおよびノード間通信のための新規戦略を導入した、高度に最適化された並列アルゴリズムを採用。
• システムのスケーラビリティのおかげで、これまでに実現不可能とされてきたより大きな深層ニューラルネットワークアーキテクチャのトレーニングを実現。
• モデルの汎化性能とロバスト性の向上を目的とした、新規のデータオーグメンテーション技術を適用。
• 特徴学習の向上を目的として、トレーニングおよび推論時に複数スケールの画像処理を実施。
• 認識パイプラインのすべてのコンponentを一括して最適化するエンドツーエンドのディープラーニングを採用。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてディープラーニングシステムをスケーリングし、高解像度画像上で大規模なモデルを効率的にトレーニングできるか？
• RQ2 分散ディープラーニングにおける通信およびデータパーティショニング戦略で、トレーニングスルーレットを最大限に高めることは可能か？
• RQ3 マルチスケール入力および高度なデータオーグメンテーションは、認識精度をどの程度向上させるか？
• RQ4 カスタムスパコンアーキテクチャは、標準のGPUクラスターよりも大規模な画像認識タスクで優れた性能を発揮できるか？

主な発見

• Deep Image は、複数の挑戦的なコンピュータビジョンベンチマークで最先端のパフォーマンスを達成した。
• 独自のスパコンにより、従来のシステムよりも大規模な深層ニューラルネットワークのトレーニングが高速化された。
• 最適化されたデータパーティショニングおよび通信により、トレーニング時間の短縮とスケーラビリティの向上が達成された。
• マルチスケールの高解像度入力は、特徴表現および認識精度を顕著に向上させた。
• 新規のデータオーグメンテーション戦略により、推論コストを増加させることなく、モデルの汎化性能が向上した。