[論文レビュー] When Naïve Bayes Nearest Neighbours Meet Convolutional Neural Networks

Ilja Kuzborskij, Fabio Maria Carlucci+1 more|arXiv (Cornell University)|Nov 12, 2015

Advanced Neural Network Applications参考文献 42被引用数 6

ひとこと要約

この論文は、事前学習済みのCNNからマルチスケールの局所パッチ特徴を抽出し、スケーラブルなネイティブベイズ非線形学習（sNBNL）の変種を適用することで、畳み込みニューラルネットワーク（CNN）の活性化出力をネイティブベイズ最近傍（NBNN）分類器と統合するフレームワークを提案する。このアプローチは、シーン認識およびドメイン適応ベンチマークで最先端の性能を達成し、CNN特徴とスケーラブルな学習を組み合わせることでNBNNベースの手法が効果的に蘇る可能性を示している。

ABSTRACT

Since Convolutional Neural Networks (CNNs) have become the leading learning paradigm in visual recognition, Naive Bayes Nearest Neighbour (NBNN)-based classifiers have lost momentum in the community. This is because (1) such algorithms cannot use CNN activations as input features; (2) they cannot be used as final layer of CNN architectures for end-to-end training , and (3) they are generally not scalable and hence cannot handle big data. This paper proposes a framework that addresses all these issues, thus bringing back NBNNs on the map. We solve the first by extracting CNN activations from local patches at multiple scale levels, similarly to [1]. We address simultaneously the second and third by proposing a scalable version of Naive Bayes Non-linear Learning (NBNL, [2]). Results obtained using pre-trained CNNs on standard scene and domain adaptation databases show the strength of our approach, opening a new season for NBNNs.

研究の動機と目的

• ディープラーニング時代におけるNBNNベース分類器の限界、特にCNN活性化出力の利用や大規模データセットへのスケーラビリティの欠如を解消すること。
• プーリングや連結を一切行わず、複数スケールでの局所パッチ活性化を抽出することで、NBNN手法がCNN特徴と連携できるようにすること。
• メモリおよび計算コストを削減しながら高い予測性能を維持する、NBNNベースモデルのためのスケーラブルなトレーニングアルゴリズムの開発。
• CNN特徴と効率的な学習アルゴリズムを組み合わせた場合、NBNNベース手法が最先端の性能を達成できることを示すこと。
• 標準的なシーン認識およびドメイン適応ベンチマーク上でフレームワークを検証し、優れた汎化能力および転移能力を示すこと。

提案手法

• プーリングや連結を一切行わず、複数スケール（32px、64px、128px）の局所パッチからCNN活性化特徴を抽出し、NBNN入力に適した局所構造を保持する。
• 最大10^7の特徴を持つ大規模データセットを効率的に処理できる、ネイティブベイズ非線形学習（sNBNL）のスケーラブルな確率的変種を採用する。
• sNBNL内に潜在的局所線形SVMフレームワークを適用し、非線形意思決定境界をモデル化しながらもNBNNの一般性を維持する。
• 理論的には、CNNアーキテクチャのエンドツーエンドトレーニング可能な最終層として使用可能な、sNBNLの滑らかにした版を採用する。
• 特徴抽出に事前学習済みのCaffeベースのCNNを用い、フレームワークをシーン分類およびドメイン適応タスクに適用する。
• 画像全体にわたる密なパッチサンプリングを実装し、得られたマルチスケール特徴をNBNNベース分類器の入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 NBNNベース分類器は、CNN活性化出力と効果的に統合可能であり、歴史的なスケーラビリティおよび特徴互換性の制限を克服できるか？
• RQ2 事前学習済みCNNから得たマルチスケールの局所パッチ特徴は、プーリングや連結を一切行わず、NBNNベースモデルの入力として効果的か？
• RQ3 sNBNLのようなNBNNのスケーラブルな変種は、大規模データセットにおいて、メモリおよび計算コストを削減しながらも高い予測性能を維持できるか？
• RQ4 提案されたフレームワークは、標準的なシーン認識およびドメイン適応ベンチマークで最先端の性能を達成できるか？
• RQ5 明示的な適応機構を用いずに、ゼロショットおよびフェイントショットのドメイン適応状況でも、このフレームワークは良好な汎化能力を示せるか？

主な発見

• Scene15、UIUC Sports、MIT Indoorの各データセットにおいて、提案されたCNN-sNBNLフレームワークは、単一特徴手法の中で最先端の性能を達成し、従来手法およびNBNNベース手法を上回った。
• Office+Caltech256の非教師ありドメイン適応設定において、C→A設定で80.91%の正確度を達成し、学習ベースの手法を含むすべてのベースラインを上回った。
• 半教師ありドメイン適応設定では、C→A設定で85.62%の正確度を達成し、新たな最先端を樹立し、専用のドメイン適応モデル即しも上回った。
• 半教師ありドメイン適応のA→W設定では90.03%の正確度を達成し、最小限のターゲットデータで優れた汎化能力を示した。
• 提案されたsNBNLアルゴリズムにより、10^7以上の特徴を持つデータセットでのトレーニングが可能となり、NBNNベース手法が大規模な視覚認識タスクに実用可能になった。
• このフレームワークは、NBNNベース分類器とCNN特徴を効果的に統合する初の試みであり、NBNNを視覚認識分野における競争力のあるパラダイムへと蘇らせた。