[論文レビュー] Self-Paced Learning with Adaptive Deep Visual Embeddings

Vithursan Thangarasa, Graham W. Taylor|arXiv (Cornell University)|Jul 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 5

ひとこと要約

本稿では、自己学習学習（self-paced learning）と適応的ディープビジョナル埋め込みを組み合わせることで、深層ニューラルネットワークにおける収束性と精度を向上させるエンドツーエンドの学習フレームワーク、SPL-ADVisEを提案する。真のサンプル多様性を捉えるメトリクス空間を学習するMagnet Lossと、容易さを表すクロスエントロピー損失を併用することで、容易で多様なサンプルのミニバッチを動的に選択する。この手法により、粗粒度および細粒度の画像分類ベンチマークにおいて、SOTA（最先端）の性能を達成し、CIFAR-100ではベースライン比最大4.75%の精度向上を達成した。

ABSTRACT

Selecting the most appropriate data examples to present a deep neural network (DNN) at different stages of training is an unsolved challenge. Though practitioners typically ignore this problem, a non-trivial data scheduling method may result in a significant improvement in both convergence and generalization performance. In this paper, we introduce Self-Paced Learning with Adaptive Deep Visual Embeddings (SPL-ADVisE), a novel end-to-end training protocol that unites self-paced learning (SPL) and deep metric learning (DML). We leverage the Magnet Loss to train an embedding convolutional neural network (CNN) to learn a salient representation space. The student CNN classifier dynamically selects similar instance-level training examples to form a mini-batch, where the easiness from the cross-entropy loss and the true diverseness of examples from the learned metric space serve as sample importance priors. To demonstrate the effectiveness of SPL-ADVisE, we use deep CNN architectures for the task of supervised image classification on several coarse- and fine-grained visual recognition datasets. Results show that, across all datasets, the proposed method converges faster and reaches a higher final accuracy than other SPL variants, particularly on fine-grained classes.

研究の動機と目的

• 固定されたミニバッチサンプリングが収束性や一般化性能を制限する、深層ニューラルネットワーク学習における最適でないデータスケジューリングの課題に対処すること。
• 容易さ（低損失）と真の多様性（埋め込み空間におけるクラスタリングされた表現）に基づいて、動的に訓練サンプルを選択することで、モデル性能を向上させること。
• 深層メトリクス学習（DML）と自己学習学習（SPL）を統合し、深層ネットワークの学習に適したより効果的で適応的なカリキュラムを構築すること。
• Magnet Lossを用いて非線形で顕著な表現空間を学習することで、サンプル選択の質が向上し、特に細粒度分類タスクにおいて優れた性能が得られることを示すこと。
• モデルアーキテクチャに依存しないモジュラーでエンドツーエンドのフレームワークを構築し、さまざまなディープラーニングタスクに適用可能であること。

提案手法

• フレームワークは、非線形でクラスタに配慮した表現空間を学習するための別個の埋め込み畳み込みニューラルネットワーク（CNN）と、学生CNN分類器を用いる。この埋め込みネットワークはMagnet Lossを用いて学習され、真のサンプル多様性を反映する。
• サンプルの重要性は2つの事前知識に基づいて決定される：(1) 学生ネットワークにおけるクロスエントロピー損失からの容易さ、(2) 埋め込み空間におけるクラスタ分離度から導かれる真の多様性。
• 学習中、学生ネットワークは、低損失（容易）でかつ高相互クラスタ距離（多様）なサンプルを優先してミニバッチを選択し、動的なカリキュラムを形成する。
• 埋め込みネットワークは学生ネットワークと並列に学習され、モデルが学習を進めるに従い、多様性事前知識がオンラインで適応可能になる。
• この手法はモジュラーであり、埋め込み空間にクラスタ形成をサポートする限り、他のDML損失関数への拡張も可能である。
• フレームワークはPyTorchで実装され、オープンソースとして公開されており、再現性とさらなる研究を可能としている。

実験結果

リサーチクエスチョン

• RQ1 自己学習学習と深層メトリクス学習を組み合わせることで、深層ニューラルネットワーク学習における収束速度と最終精度が向上するか？
• RQ2 Magnet Lossで学習された表現空間を用いることで、SPLにおける従来のクラスタリング手法（K-meansやスペクトルクラスタリング）に比べ、より優れたサンプル多様性推定が可能か？
• RQ3 クラスの重複や小さな学習データセットが大きな課題となる細粒度分類タスクにおいて、SPL-ADVisEはどのように性能を発揮するか？
• RQ4 標準的なランダムサンプリングおよびSPLDなどの既存のSPL変種と比較して、収束性および一般化性能の両面で優れた性能を示せるか？
• RQ5 動的サンプル選択と顕著な埋め込み空間の統合が、複雑なアーキテクチャにおいて過学習をどれほど軽減し、性能向上に寄与するか？

主な発見

• CIFAR-100では、SPLD比で3.81%、ランダムサンプリング比で4.75%の精度向上を達成し、細粒度分類において顕著な改善を示した。
• FashionMNIST、SVHN、CIFAR-10といった粗粒度データセットでは、ベースライン比0.27～2.22パーセンテージポイントの精度向上を達成した。
• 評価されたすべてのデータセットで、ランダムサンプリングおよびSPLDよりも収束が速く、学習効率の向上を示した。
• Magnet Lossの使用により、埋め込み空間における有効なクラスタリングが可能となり、K-meansやスペクトルクラスタリングに比べ、真のサンプル多様性の測定がより正確になった。
• バッチ正規化、ドロップアウト、データオーグメンテーションを含む複雑なアーキテクチャに対しても、一貫した性能向上を示し、ロバストネスと一般化能力を示した。
• 動的サンプル選択と非線形で表現に配慮した多様性事前知識の統合が、特にデータ量が少ない状況下で、より良いモデル一般化を実現することが明らかになった。