[論文レビュー] Rethinking Recurrent Neural Networks and Other Improvements for Image Classification

Nguyen Huu Phong, Bernardete Ribeiro|arXiv (Cornell University)|Jul 30, 2020

Advanced Neural Network Applications参考文献 92被引用数 7

ひとこと要約

本論文は、画像分類のための畳み込みニューラルネットワーク（ConvNets）に、LSTM や GRU を含む再帰的ニューラルネットワーク（RNNs）を基本的な層として統合し、エンドツーエンドのマルチモデルアンサンブル戦略を併用する手法を提案する。このアプローチにより、SVHN（0.99）、Cifar-10（0.9852）、Cifar-100（0.9027）で最先端性能を達成し、サリー・データセットでは新記録（0.949）を樹立した。これは、RNN が逐次的生成タスクを超えて画像認識を向上させられることを示している。

ABSTRACT

Over the long history of machine learning, which dates back several decades, recurrent neural networks (RNNs) have been used mainly for sequential data and time series and generally with 1D information. Even in some rare studies on 2D images, these networks are used merely to learn and generate data sequentially rather than for image recognition tasks. In this study, we propose integrating an RNN as an additional layer when designing image recognition models. We also develop end-to-end multimodel ensembles that produce expert predictions using several models. In addition, we extend the training strategy so that our model performs comparably to leading models and can even match the state-of-the-art models on several challenging datasets (e.g., SVHN (0.99), Cifar-100 (0.9027) and Cifar-10 (0.9852)). Moreover, our model sets a new record on the Surrey dataset (0.949). The source code of the methods provided in this article is available at https://github.com/leonlha/e2e-3m and http://nguyenhuuphong.me.

研究の動機と目的

• 高度な RNN アーキテクチャが、従来の逐次的データ処理の用途を超えて画像分類を向上させられるかどうかを調査すること。
• エキスパート・モデルから得られる予測を学習対象とするエンドツーエンドのマルチモデルアンサンブルを設計し、性能を向上させること。
• 学習率スケジューリングとソフトマックスプルーニングを含む訓練戦略を開発し、モデルの正確性と効率性を向上させること。
• SVHN や Cifar-10/100、サリー・データセットといった多様なデータセット、特に挑戦的なベンチマークに対して、提案手法の評価を行うこと。
• RNN を ConvNets に統合することで、最先端モデルと同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 2次元画像データの空間的特徴を処理するため、標準的な RNN、LSTM、GRU、双方向 RNN を、ConvNet アーキテクチャに追加層として統合する。
• 複数の事前学習済みモデルの予測から学ぶ、新規のエンドツーエンドマルチモデルアンサンブル（E2E-3M）を採用し、エキスパート知識の共同最適化を可能にする。
• 収束性と一般化性能の向上を図るため、動的学習率戦略とテスト時増強を適用する。
• 特に Fashion-MNIST のような小規模データセットにおいても高い正確性を維持しつつ、モデルの複雑さを低減するため、ソフトマックス層のプルーニングを実施する。
• 再現性を確保するため、仮想環境と Jupyter Notebook を用いた実装を採用し、コードは GitHub で公開されている。
• サリー・データセットでは、現実世界の制約を反映するため、1つずつを除いた交差検証（leave-one-out cross-validation）を実施して、堅牢な評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 従来、1次元の逐次的データ処理に使われてきた RNN が、ConvNets における2次元画像分類に効果的に適応可能かどうか。
• RQ2 エキスパート・モデルの予測から学ぶエンドツーエンドマルチモデルアンサンブルが、単一モデルや標準的なアンサンブル手法を上回る性能を発揮するか。
• RQ3 学習率スケジューリングとソフトマックスプルーニングを含む洗練された訓練戦略が、限られた計算リソースでも最先端の性能に達するか、あるいはそれを上回るか。
• RQ4 RNN の統合が、SVHN や Cifar-10/100、サリー・データセットといった挑戦的なベンチマークにおける正確性と効率性にどのように影響を与えるか。
• RQ5 提案手法が、ImageNet や iNaturalist を含む多様なアーキテクチャとデータセットに一般化可能かどうか。

主な発見

• RNN 統合付きの E2E-3M モデルは、SVHN データセットでトップ-1正確度 0.99 を達成し、最先端の性能と同等である。
• Cifar-10 ではトップ-1正確度 0.9852 を達成し、EfficientNetB5 や InceptionResNetV2 といった最先端モデルと同等の性能を示した。
• Cifar-100 ではトップ-1正確度 0.9027 を達成し、多数の先行手法を上回り、最高報告値と同等の結果を得た。
• サリー・データセットではトップ-1正確度 0.949 を達成し、新記録を樹立し、前回の最先端手法を 1.4% 上回った。
• エンドツーエンドアンサンブル設計により、リアルタイム推論が可能であり、パイプラインベースのアンサンブルに起因する制限を克服し、SoC プラットフォームへのデプロイに適している。
• ソフトマックスプルーニングと適応的学習率スケジューリングは、正確性を損なわず、訓練効率とモデル一般化性能を顕著に向上させた。