[論文レビュー] Large-Scale Deep Learning on the YFCC100M Dataset

Karl Ni, Roger Pearce+5 more|arXiv (Cornell University)|Feb 11, 2015

Advanced Neural Network Applications参考文献 10被引用数 26

ひとこと要約

本論文では、9920万枚の画像と80万本の動画を含むYFCC100Mデータセットを、98ノードのGPUを備えた高性能コンピューティング（HPC）クラスタを用いて、教師なしで学習させた150億パラメータの深層ニューラルネットワークを提示している。モデルはラベルなしで、都市風景、飛行機、建物、テキストなどの複雑な高レベルの視覚的コンセプトを効果的に学習しており、教師なし特徴抽出のためのモデルサイズとデータセットサイズのスケーリングの有効性を示している。

ABSTRACT

We present a work-in-progress snapshot of learning with a 15 billion parameter deep learning network on HPC architectures applied to the largest publicly available natural image and video dataset released to-date. Recent advancements in unsupervised deep neural networks suggest that scaling up such networks in both model and training dataset size can yield significant improvements in the learning of concepts at the highest layers. We train our three-layer deep neural network on the Yahoo! Flickr Creative Commons 100M dataset. The dataset comprises approximately 99.2 million images and 800,000 user-created videos from Yahoo's Flickr image and video sharing platform. Training of our network takes eight days on 98 GPU nodes at the High Performance Computing Center at Lawrence Livermore National Laboratory. Encouraging preliminary results and future research directions are presented and discussed.

研究の動機と目的

• 100億パラメータを超える大規模な深層ニューラルネットワークが、大規模データセット上でどこまで性能を発揮できるかを調査すること。
• 1億規模の画像および動画データセットを用いた教師なし深層学習が、ラベルなしで意味のある高レベルの視覚的特徴表現を生成できるかどうかを検証すること。
• 通信ボトル neck やメモリ制限といった、HPCシステム上での大規模モデル学習における工学的課題を特定し、それらの対処法を検討すること。
• 深さと幅の両方が、教師なし環境下での高レベルコンセプト学習に与える影響を評価すること。

提案手法

• LLNL Edge HPCシステム上、98ノードのGPUを用いて、150億パラメータを超える3層の深層ニューラルネットワークをモデル並列法で学習。
• MPIベースの通信を用いた分散学習フレームワークを採用し、局所的受容 field を非結合（untied）にすることで、グローバル通信を最小限に抑える。
• 入力の標準化のため、画像を中央揃えにし、最も小さい次元を300ピクセルにスケーリング、その後300×300ピクセルにクロップ。
• LustreファイルシステムからGPUメモリへミニバッチをストリームする独自のデータパイプラインを採用し、I/Oボトル neck を軽減。
• 200万枚の画像を順伝播させ、各ニューロンの上位活性化刺激を分析することで、学習された特徴を可視化。
• YFCC100Mに埋め込まれた豊富なメタデータ（タグ、ジオタグなど）を、将来的なマルチモーダル学習のための活用を想定しているが、本研究では使用していない。

実験結果

リサーチクエスチョン

• RQ1 150億パラメータの深層ニューラルネットワークを、1億規模のデータセット上で教師なしで学習させた場合、ラベルなしで都市風景やテキストなどの複雑な高レベルの視覚的コンセプトを学習できるか？
• RQ2 モデルサイズとデータセットサイズを同時にスケーリングすることで、深層ネットワークにおける教師なし特徴学習の質と複雑さにどのような影響を与えるか？
• RQ3 HPCシステム上での大規模モデル学習における主な工学的課題は何か。それらはどのように軽減できるか？
• RQ4 浅い3層モデルと比較して、より深くまたは広いネットワークアーキテクチャが、高レベルコンセプト学習にどの程度寄与するか？

主な発見

• モデルは、ラベルなしのまま、画像の入力から都市風景、飛行機、建物、テキストなどの複雑な視覚的コンセプトを効果的に学習した。
• 第3層のニューロンは、建物の縁、空の背景に映ったテキスト、飛行機といった大規模な構造に強く反応し、画像全体の構成に敏感であることが示された。
• LFW や ImageNet といった標準ベンチマークとは異なり、テストセットが著しくノイズが多い状況下でも、モデルは頑健な特徴学習を示した。
• 第1層の重みを可視化した結果、構造的フィルタ（エッジ検出器やテクスチャパターンなど）が明確に観察され、初期層での有効な特徴抽出が確認された。
• モデルの大きなサイズが、複雑なコンセプトの学習に寄与していることから、モデルとデータの両方をスケーリングすることが、学習の質を向上させる上で不可欠であることが示唆された。
• 将来の改善は、勾配消失問題の解消や、分散学習におけるメモリと通信の最適化を図ることで、特に深さと幅の拡大によって達成できると予想される。