[論文レビュー] Curriculum By Smoothing

Samarth Sinha, Animesh Garg+1 more|arXiv (Cornell University)|Mar 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用数 4

ひとこと要約

本論文では、勾配降下法の分散を段階的に増加させることで、特徴マップにおける高周波成分を段階的に増加させる、訓練戦略「スムージングによるカリキュラム（CBS）」を提案する。初期訓練段階の特徴を、未学習の重みに起因するノイズを低減するためスムージングし、段階的により豊かな詳細を許容することで、パrameterを追加せずに画像分類、転移学習、オブジェクト検出、セマンティックセグメンテーション、VAEなど多様なタスクで精度と一般化性能が向上する。

ABSTRACT

Convolutional Neural Networks (CNNs) have shown impressive performance in computer vision tasks such as image classification, detection, and segmentation. Moreover, recent work in Generative Adversarial Networks (GANs) has highlighted the importance of learning by progressively increasing the difficulty of a learning task [26]. When learning a network from scratch, the information propagated within the network during the earlier stages of training can contain distortion artifacts due to noise which can be detrimental to training. In this paper, we propose an elegant curriculum based scheme that smoothes the feature embedding of a CNN using anti-aliasing or low-pass filters. We propose to augment the train-ing of CNNs by controlling the amount of high frequency information propagated within the CNNs as training progresses, by convolving the output of a CNN feature map of each layer with a Gaussian kernel. By decreasing the variance of the Gaussian kernel, we gradually increase the amount of high-frequency information available within the network for inference. As the amount of information in the feature maps increases during training, the network is able to progressively learn better representations of the data. Our proposed augmented training scheme significantly improves the performance of CNNs on various vision tasks without either adding additional trainable parameters or an auxiliary regularization objective. The generality of our method is demonstrated through empirical performance gains in CNN architectures across four different tasks: transfer learning, cross-task transfer learning, and generative models.

研究の動機と目的

• 未学習のパラメータに起因するノイズが多く、歪みが生じる初期CNN訓練段階における特徴表現のノイズ問題に対処すること。
• 訓練中に高周波成分の流れを体系的に制御することで、深層ネットワークの表現学習を向上させること。
• アーキテクチャの変更なしに、多様なビジョンタスクで性能を向上させる汎用的かつ非パラメトリックなカリキュラムを開発すること。
• 教師あり、自己教師あり、生成学習の設定において、本手法の汎用性と頑健性を示すこと。

提案手法

• 訓練中に各CNN層の出力特徴マップにガウスローパassフィルタを適用し、未学習の重みに起因する高周波ノイズを低減する。
• ガウスカーネルの標準偏差（σ）を時間経過とともにアンナリングすることで、ネットワーク内を伝搬する高周波成分の量を段階的に増加させる。
• 初期訓練段階における特徴空間のアリasingアーチファクトを低減するため、ガウスフィルタを用いたアンチエイリアシングを実施する。
• 各層の順伝播処理にスムージング処理を直接統合することで、あらゆるCNNアーキテクチャと互換性を持つ。
• 同じ訓練目的関数と損失関数を維持し、追加の可学習パラメータや正則化項を導入しない。
• 全層にわたってエンドツーエンドに適用し、各畳み込み層の後にフィルタを適用し、活性化関数の前に配置する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップの段階的スムージングは、初期訓練段階におけるCNNの表現学習を改善できるか？
• RQ2 アンナリングされたガウスフィルタを用いて高周波成分を段階的に増加させることで、多様なビジョンタスクにおける下流性能が向上するか？
• RQ3 本手法は、パラメータを追加せずに転移学習、オブジェクト検出、セマンティックセグメンテーション、生成モデルの性能を向上させられるか？
• RQ4 既存のカリキュラム学習手法と比較して、本手法は頑健性および一般化性能において優れているか？

主な発見

• CBSは、CIFAR-10におけるResNet-18の精度をベースラインから10.2パーセンテージポイント向上（80.0% → 90.2%）した。
• CIFAR-100では、ベースライン比19.7パーセンテージポイントの向上（65.4%）を達成した。
• 未学習のデータセットに対して特徴抽出器として使用した場合、CBSで学習したImageNetモデルはゼロショットおよびフェイントショット転移学習設定で標準学習を上回った。
• ImageNet事前学習重みを用いたオブジェクト検出およびセマンティックセグメンテーションタスクでも、CBSは性能を顕著に向上させた。
• VAEでは、CIFAR-10およびCelebAの両データセットで、再構成品質（低いNLL）と表現品質（高いMIおよびアクティブユニット数）の両面でCBSが向上した。
• アブレーションスタディの結果、入力のスムージングではなく特徴のスムージング、およびσの段階的アンナリングが不可欠であることが確認された。一定のσ値を用いる、または入力をスムージングすると性能が低下した。