[論文レビュー] DCNNs on a Diet: Sampling Strategies for Reducing the Training Set Size

Maya Kabkab, Azadeh Alavi+1 more|arXiv (Cornell University)|Jun 14, 2016

Control Systems and Identification参考文献 4被引用数 12

ひとこと要約

この論文は、分類器の不確実性、クラスのバランス、代表性の基準を組み合わせることで、凸最適化を用いて情報量が多く、多様性があり、バランスの取れたバッチを段階的に選択する、深層畳み込みニューラルネットワーク（DCNN）のための適応的サンプリング戦略を提案する。この手法により、訓練データのサイズを大幅に削減しつつ、最先端の性能を達成し、訓練の効率性とラベルノイズおよびクラス不均衡に対するロバスト性が向上する。

ABSTRACT

Large-scale supervised classification algorithms, especially those based on deep convolutional neural networks (DCNNs), require vast amounts of training data to achieve state-of-the-art performance. Decreasing this data requirement would significantly speed up the training process and possibly improve generalization. Motivated by this objective, we consider the task of adaptively finding concise training subsets which will be iteratively presented to the learner. We use convex optimization methods, based on an objective criterion and feedback from the current performance of the classifier, to efficiently identify informative samples to train on. We propose an algorithm to decompose the optimization problem into smaller per-class problems, which can be solved in parallel. We test our approach on standard classification tasks and demonstrate its effectiveness in decreasing the training set size without compromising performance. We also show that our approach can make the classifier more robust in the presence of label noise and class imbalance.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（DCNN）の大きなデータ要件を、性能を損なわず低減すること。
• 分類器のフィードバックに基づいて、段階的かつ適応的なトレーニングバッチの選択戦略を開発すること。
• 選択プロセスに多様性と代表性を組み込むことで、トレーニングデータのクラス不均衡と重複を軽減すること。
• 最適化されたサンプリングにより、一般化性能とラベルノイズおよびクラス不均衡に対するロバスト性を向上させること。

提案手法

• この手法は、分類器の不確実性、クラスのバランス、多様性、代表性を組み合わせた複数基準の選択問題を凸最適化で解く。
• 実時間での分類器のパフォーマンスフィードバックに基づき、動的に各クラスごとのサンプルを割り当てる、新しいクラスバランス化アルゴリズム。
• 最適化問題を、並列で解けるより小さなクラス別サブ問題に分解することで、計算効率を向上させる。
• 誤差とエントロピー項の重み付き組み合わせを用いて、サンプルの情報量をモデル化し、分類器の信頼度を含む基準関数によって不確実性を定量化する。
• バッチ選択を制約付き最適化問題として定式化し、半定値計画法（SDP）を用いて解を近似する。
• 水補充に類似した戦略を用いて、サンプルの割り当てを動的に調整し、特定のクラスへの過剰な割り当てを防止する制約を設ける。

実験結果

リサーチクエスチョン

• RQ1 DCNNにおいて、フルトレーニングセットと同等またはそれ以上の性能を達成できる、より小さな適応的サブセットのトレーニングデータは可能か？
• RQ2 分類器の不確実性、クラスのバランス、多様性、代表性をどのように統合的に最適化することで、学習効率を向上させられるか？
• RQ3 反復的サンプリング戦略は、トレーニング時間を短縮しつつ、一般化性能を維持または向上させられるか？
• RQ4 提案手法は、トレーニングデータのラベルノイズおよびクラス不均衡に対して、ロバスト性を向上させるか？
• RQ5 凸最適化技術は、大規模なディープラーニングのトレーニングサブセット選択に効果的に適用可能か？

主な発見

• 提案手法は、数字認識および顔認識タスクにおいて、分類性能を維持または向上させつつ、必要なトレーニングセットサイズを顕著に削減する。
• テストされたベンチマークでは、元のトレーニングデータの20〜30％のデータのみを用いても、フルバッチ学習と同等の性能を達成する。
• ラベルノイズに対して、性能の低下がランダムサンプリングよりも顕著に小さいため、ノイズに強い。
• フィードバック駆動の動的クラスバランス化により、クラス不均衡が効果的に是正され、全クラスにわたるパフォーマンスの均一性が向上する。
• 最適化に基づくサンプリング戦略は、すべての評価済みデータセットで収束速度と最終的な正確性においてランダムサンプリングを上回る。
• 凸緩和と半定値計画法の使用により、理論的保証のもとで効率的かつ近似的に最適なバッチ選択が可能になる。