[論文レビュー] Icing on the Cake: An Easy and Quick Post-Learnig Method You Can Try After Deep Learning

Tomohiko Konno, Michiaki Iwazume|arXiv (Cornell University)|Jul 17, 2018

Machine Learning and Data Classification参考文献 6被引用数 10

ひとこと要約

本稿では、事前学習済みの深層ニューラルネットワークの直前層から抽出した特徴量を用いて、最終分類器層のみを再訓練するシンプルなポストトレーニング手法「Icing on the Cake」（ICK）を提案する。この手法は、複数のアーキテクチャ（ResNet、DenseNet、WideResNet）においてCIFAR-100およびCIFAR-10で画像分類の精度を向上させ、計算コストは最小限に抑えられる（通常5分未塔）。精度向上は最大で7パーセンテージポイント（例：ResNet-56では66%から73%まで）に達する。

ABSTRACT

We found an easy and quick post-learning method named "Icing on the Cake" to enhance a classification performance in deep learning. The method is that we train only the final classifier again after an ordinary training is done.

研究の動機と目的

• 全ネットワークの再トレーニングなしに、モデル性能を向上させる軽量なポストトレーニング手法の開発。
• 抽出された特徴量を用いて、最終分類器層のみを再トレーニングすることで、画像分類タスクにおける一般化性能とロバスト性が向上するかの調査。
• 研究者や実務家が標準的なトレーニング後に簡単に適用できる、実用的で低コストな技術を提供。
• 本手法の一般化可能性を、さまざまなアーキテクチャ（ResNet、DenseNet、WideResNet）およびデータセット（CIFAR-10、CIFAR-100）において検証。

提案手法

• 深層ニューラルネットワークの標準的なトレーニング後、最終分類器の直前の層（すなわち、直前層）から特徴量を抽出する。
• 抽出された特徴量のみを用いて、元のトレーニングラベルと同じものを使って新しい分類器を訓練する。
• 再訓練された分類器を推論時に使用する。これは、元の最終層を置き換えるか、テスト用特徴量に直接適用する。
• 再訓練は最終層のみであるため、計算が非常に効率的であり、通常5分未塔の短時間で実行可能。
• アーキテクチャに依存しないアプローチであり、標準的な分類ヘッドを持つ任意の事前学習済みモデルに適用可能。
• 再トレーニングフェーズでは、元のトレーニング設定と整合性を保つために、データオーグメンテーションおよび標準的な最適化法（例：Adam）が使用される。

実験結果

リサーチクエスチョン

• RQ1 標準的なトレーニング後に最終分類器層のみを再トレーニングすることで、画像ベンチマークでの分類精度が向上するか？
• RQ2 「Icing on the Cake」手法は、ResNet、DenseNet、WideResNetなどの異なる深層学習アーキテクチャに一般化可能か？
• RQ3 性能向上の程度はどの程度で、複数回の実行および複数のデータセット（例：CIFAR-10、CIFAR-100）においても一貫性を示すか？
• RQ4 複数回の試行における標準偏差が低下することで、モデル性能のばらつきが減少し、安定性が向上しているか？
• RQ5 理論的説明はまだないが、なぜこのシンプルなポストプロセッシングステップが一貫した性能向上をもたらすのか？

主な発見

• CIFAR-100のResNet-56では、「Icing on the Cake」を適用した後、精度が66%から73%に上昇し、7パーセンテージポイントの向上を達成。
• 全テスト済みのResNetの深さ（11～56）において、本手法は一貫して精度を向上させ、深さごとの平均的な向上幅は7パーセンテージポイントを超えた。
• DenseNet（深さ=40、成長率=12）では、CIFAR-100の精度が59%から79%に上昇し、20パーセンテージポイントの向上を達成。
• CIFAR-10では、ResNet-56の精度はICK適用前が88.5%、適用後が92%に上昇し、3.5パーセンテージポイントの向上。
• 10回の実行における精度の標準偏差が、ICK適用後、顕著に低下しており、トレーニングの安定性が向上し、ばらつきが減少していることが示された。
• WideResNet-16-8に対しても有効であり、精度は平均で72%から74%に上昇し、アーキテクチャを問わず広範に適用可能であることが示された。