[論文レビュー] Accelerated Training for Massive Classification via Dynamic Class Selection

Xingcheng Zhang, Lei Yang+2 more|arXiv (Cornell University)|Jan 5, 2018

Machine Learning and Algorithms参考文献 20被引用数 8

ひとこと要約

本稿では、動的アップデートされるクラス階層を用いてミニバッチごとに「アクティブクラス」の小さな集合を特定することで、マス・クラス分類タスクにおける学習を高速化するための動的クラス選択（DCS）を提案する。MS-Celeb-1M や Megaface といった大規模ベンチマークでも、完全なソフトマックス学習と同等の性能を維持しつつ、学習時間を 60% 減少、GPU メモリ使用量を 24% 減少させる。

ABSTRACT

Massive classification, a classification task defined over a vast number of classes (hundreds of thousands or even millions), has become an essential part of many real-world systems, such as face recognition. Existing methods, including the deep networks that achieved remarkable success in recent years, were mostly devised for problems with a moderate number of classes. They would meet with substantial difficulties, e.g. excessive memory demand and computational cost, when applied to massive problems. We present a new method to tackle this problem. This method can efficiently and accurately identify a small number of "active classes" for each mini-batch, based on a set of dynamic class hierarchies constructed on the fly. We also develop an adaptive allocation scheme thereon, which leads to a better tradeoff between performance and cost. On several large-scale benchmarks, our method significantly reduces the training cost and memory demand, while maintaining competitive performance.

研究の動機と目的

• 数十万から数百万クラスを含む深層ネットワークの学習における高い計算コストとメモリ使用量を低減すること。
• 顔認識のような分野では一般化性に欠ける、静的クラス頻度統計に依存する従来手法の限界を克服すること。
• 各ミニバッチに対して最も関連性の高い「アクティブクラス」のみを効率的に同定する、効率的で適応的な手法を開発し、計算量を最小限に抑えつつ精度を損なわないこと。
• マス・クラス分類設定における学習速度、メモリ使用量、モデル性能のトレードオフをより良いバランスにすること。

提案手法

• クラス重みベクトルを用いて、クラス間の意味的近接性をモデル化し、リアルタイムに動的クラス階層を構築する。
• ハッシュベースのフォレスト構造を用いて、各ミニバッチにおける最適なアクティブクラス選択を効率的に近似する。
• 学習の進行に応じてアクティブクラス数を動的に調整するアロケーションスキームを実装し、性能が安定した段階でコストを低減する。
• 背景で定期的にクラス階層構造を更新することで、精度を維持しつつオーバーヘッドを最小限に抑える。
• 勾配に顕著に寄与するクラスは少数に限られることに着目し、計算をこれらのクラスに集中させる。
• ネットワークアーキテクチャをソフトマックス層を除いて変更せずに、標準的なディープラーニングパイプラインにシームレスに統合する。

実験結果

リサーチクエスチョン

• RQ1 動的でデータ駆動型の手法は、マス・クラス分類において、各ミニバッチごとに学習信号の大部分を捉える小さなアクティブクラスのサブセットを同定できるか？
• RQ2 事前クラス頻度統計に依存せずに、正確かつ効率的なアクティブクラス選択を実現する方法は何か？
• RQ3 アクティブクラス数や構造更新間隔を変化させた場合、学習性能とコストにどのような影響が生じるか？
• RQ4 適応的アロケーションスキームは、学習中の効率性と性能のトレードオフを改善できるか？
• RQ5 最適選択やランダムサンプリングと比較して、提案手法の正確性と速度はどのように異なるか？

主な発見

• 750KクラスのResNet-101モデルでは、1イテレーションあたりの学習時間を3.5秒から1.5秒に短縮し、60%の高速化を達成した。
• GPUメモリ使用量は1GPUあたり10.8GBから8.2GBに減少し、24%の削減が達成された。主にソフトマックス層の最適化によるものである。
• 1イテレーションあたり1%のクラスを選択した場合でも、Megafaceベンチマークで63.9%の精度を達成し、完全なソフトマックスベースライン（64.7%）に非常に近い結果を得た。
• 提案手法（HF-A）の性能は最適選択と1%以内の差に収まり、ランダムサンプリングや頻度ベースのベースラインを著しく上回った。
• LFW、IJB-A、Megaface といった異なるデータセットにおいても、性能が一貫して維持され、学習コストを削減しながら精度を保持した。
• ハッシュツリー数（L）を増やすことで性能が向上し、L=100を超えると飽和する傾向を示した。また、構造更新間隔（T）はT ∈ [100, 1000]イテレーションの範囲では最小限の影響しか及えないことが分かった。