[論文レビュー] Data Dropout: Optimizing Training Data for Convolutional Neural Networks

Tianyang Wang, Jun Huan+1 more|arXiv (Cornell University)|Sep 1, 2018

Advanced Neural Network Applications参考文献 21被引用数 15

ひとこと要約

本稿では、不適切なトレーニングサンプルを特定・削除することで、深層学習の一般化性能を向上させる二段階訓練手法であるData Dropoutを提案する。各サンプルが検証損失に与える影響を測定することで、ResNet や DnCNN などのCNNモデルが、微調整や追加のトレーニングオーバーヘッドなしに、画像分類およびノイズ除去タスクにおける性能を向上させることができる。

ABSTRACT

Deep learning models learn to fit training data while they are highly expected to generalize well to testing data. Most works aim at finding such models by creatively designing architectures and fine-tuning parameters. To adapt to particular tasks, hand-crafted information such as image prior has also been incorporated into end-to-end learning. However, very little progress has been made on investigating how an individual training sample will influence the generalization ability of a model. In other words, to achieve high generalization accuracy, do we really need all the samples in a training dataset? In this paper, we demonstrate that deep learning models such as convolutional neural networks may not favor all training samples, and generalization accuracy can be further improved by dropping those unfavorable samples. Specifically, the influence of removing a training sample is quantifiable, and we propose a Two-Round Training approach, aiming to achieve higher generalization accuracy. We locate unfavorable samples after the first round of training, and then retrain the model from scratch with the reduced training dataset in the second round. Since our approach is essentially different from fine-tuning or further training, the computational cost should not be a concern. Our extensive experimental results indicate that, with identical settings, the proposed approach can boost performance of the well-known networks on both high-level computer vision problems such as image classification, and low-level vision problems such as image denoising.

研究の動機と目的

• 特定のトレーニングサンプルを削除することで、深層学習モデルの一般化性能が向上するかどうかを調査すること。
• 不適切なトレーニングサンプルを特定・削除する手法を開発し、トレーニングデータセットを最適化すること。
• モデルアーキテクチャの変更や微調整なしに、既存のCNNモデルの性能を向上させる汎用的なトレーニングフレームワークを設計すること。
• 高レベル（分類）および低レベル（ノイズ除去）の問題を含む、多様なコンピュータビジョンタスクにおいて、データ最適化の有効性を示すこと。

提案手法

• 最初のラウンドでは、全トレーニングセットを用いてCNNを訓練し、各トレーニングサンプルが検証損失に与える影響を計算する。
• 各トレーニングサンプルについて、検証セットを用いてそのサンプルを除外した際の検証損失の変化を測定することで、その影響を推定する。
• 正の影響値（そのサンプルの削除により全体の検証誤差が低下する）を持つサンプルを特定・削除する。
• 不適切なサンプルを除外することで、より最適化された小さなトレーニングセットを再構築する。
• 2回目のラウンドでは、縮小されたデータセットから再びスクラッチからモデルを再トレーニングし、微調整や継続的トレーニングを一切行わない。
• 標準的な最適化（Adam）とトレーニングプロトコルを用い、公平性を保つためにデータオーグメンテーションは2回目のラウンドでのみ適用する。

実験結果

リサーチクエスチョン

• RQ1 特定のトレーニングサンプルを削除することで、トレーニング済みのCNNの一般化精度が向上するか？
• RQ2 個々のトレーニングサンプルがモデル性能に与える影響を定量的に測定する方法は何か？
• RQ3 提案された二段階トレーニングアプローチは、モデルアーキテクチャを変更せずに標準トレーニングよりも優れた性能を示すか？
• RQ4 データドロップアウト手法は、異なるCNNアーキテクチャやコンピュータビジョンタスクに一般化可能か？
• RQ5 性能向上はデータ最適化ステップの効果によるものか、それとも追加のトレーニングイテレーションによるものか？

主な発見

• 提案された二段階トレーニングアプローチとデータドロップアウトにより、画像分類および画像ノイズ除去タスクの両方で一般化精度が向上した。
• BSD68データセットでは、DnCNNの平均PSNRが約0.04 dB向上し、画像ノイズ除去における明確な性能向上を示した。
• 視覚的および定量的結果において、元のDnCNNや広く使われているノイズ除去手法BM3Dをも上回った。
• ResNet、DenseNet、All-CNN-Cなど多様なモデルに対して効果的であり、広範な適用可能性を示した。
• 1回目のラウンドのモデルは影響値の計算にのみ使用され、2回目のラウンドのトレーニングはスクラッチから開始されるため、微調整や継続的トレーニングとは根本的に異なる。
• トレーニングサンプル数が少ないにもかかわらず、2回目のラウンドのモデルがより優れた性能を達成したため、一部の状況ではデータの質が量よりも重要であることが示された。