[論文レビュー] Towards Testing of Deep Learning Systems with Training Set Reduction

Helge Spieker, Arnaud Gotlieb|arXiv (Cornell University)|Jan 14, 2019

Software Testing and Debugging Techniques参考文献 18被引用数 8

ひとこと要約

本稿では、継続的インテグレーション（CI）テストにおけるディープラーニングモデルの学習を高速化するためのトレーニングセットリダクション（TSR）手法——距離ベース、損失ベース、およびランダム選択——を提案する。距離ベースおよび損失ベースの体系的アプローチが、CIFAR-10の元のデータの10–50%のみを用いても、完全な学習の損失曲線をよく再現できることを示しており、実行時間の大幅な短縮と同時に、学習行動の忠実性を維持している。

ABSTRACT

Testing the implementation of deep learning systems and their training routines is crucial to maintain a reliable code base. Modern software development employs processes, such as Continuous Integration, in which changes to the software are frequently integrated and tested. However, testing the training routines requires running them and fully training a deep learning model can be resource-intensive, when using the full data set. Using only a subset of the training data can improve test run time, but can also reduce its effectiveness. We evaluate different ways for training set reduction and their ability to mimic the characteristics of model training with the original full data set. Our results underline the usefulness of training set reduction, especially in resource-constrained environments.

研究の動機と目的

• ディープラーニングシステムにおける継続的インテグレーション（CI）のための完全な学習ランの高い計算コストを軽減すること。
• 縮小されたトレーニングセットが、損失曲線のダイナミクスという観点から、フルサイズのモデルの学習行動を保持できるかどうかを評価すること。
• 距離ベース、損失ベース、ランダム選択の3つのトレーニングセットリダクション戦略の有効性を比較すること。
• 体系的なリダクション手法（距離ベースおよび損失ベース）が、完全な学習行動への忠実性を損なわず、より速く信頼性のあるテストを可能にできるかどうかを特定すること。
• リソース制約のあるテスト環境を支援するため、代表的で軽量なトレーニングランを可能にする。

提案手法

• 距離ベースのリダクションのため、入力空間からの多様で代表的なサンプルを選択するためにk-meansクラスタリングを適用する。
• 損失ベースのリダクションのため、初期モデルの予測結果を用いて、学習が難しいとされる高損失のサンプルを特定する。
• 比較のためのベースラインとして、実際の現場でもよく用いられるランダムサンプリングを採用する。
• 簡易CNN（SimpleCNN）およびResNetの2つのディープニューラルネットワークを、縮小済みおよびフルのCIFAR-10データセット上で学習させ、学習ダイナミクスを比較する。
• 正規化平均二乗誤差（NRMSE）を用いて、縮小済みとフルのトレーニング損失曲線の類似度を測定する。
• ランダム初期化およびサンプリングの確率的影響を軽減するため、すべての実験を40回繰り返す。

実験結果

リサーチクエスチョン

• RQ1 トレーニングセットリダクション技術は、損失曲線の進化という観点から、ディープラーニングモデルの学習行動を保持できるか？
• RQ2 距離ベース、損失ベース、ランダムトレーニングセットリダクション戦略は、フルトレーニング損失曲線をどれほどよく再現できるか？
• RQ3 縮小されたセットがフルトレーニングプロセスと十分な類似性を保つために必要な最小トレーニングセットサイズは何か？
• RQ4 異なるニューラルネットワークアーキテクチャにおいて、トレーニングセットリダクションの有効性は変化するか？
• RQ5 体系的なリダクション戦略（距離ベースおよび損失ベース）は、ランダムサンプリングを上回り、学習の忠実性を維持できるか？

主な発見

• 距離ベースおよび損失ベースのトレーニングセットリダクション戦略は、特にデータサイズが小さい場合、ランダムサンプリングよりも大幅にフルトレーニングセットの損失曲線に類似していた。
• CIFAR-10の元のトレーニングデータの10%のみを用いても、両方の体系的手法がResNetのバリデーション損失曲線に対してNRMSE値が0.03未満を達成しており、高い忠実性を示している。
• 損失ベース手法はResNetにおいて最も優れたパフォーマンスを示し、70%のデータサイズでバリデーション損失のNRMSEが0.003にまで低下し、距離ベースおよびランダムサンプリングを上回った。
• 50%のデータサイズでも、体系的手法は両アーキテクチャでNRMSE値が0.02未満を維持しており、フルトレーニングとの強い類似性を示した。
• ランダムサンプリングは、すべてのデータサイズおよびモデルで一貫して高いNRMSE値を示し、フルトレーニング行動の再現性が低いことが示された。
• 本研究は、体系的なトレーニングセットリダクションが、CIパイプラインにおけるディープラーニングテストの高速化に実用的で効果的なアプローチであることを確認した。