[論文レビュー] Learning Fine-grained Features via a CNN Tree for Large-scale Classification

Zhenhua Wang, Xingxing Wang+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Neural Network Applications参考文献 44被引用数 7

ひとこと要約

本稿では、段階的に精錬されたクラスのサブセット上で特化した畳み込みニューラルネットワーク（CNN）を訓練することで、大規模画像分類における特徴の識別能を向上させるCNNツリー枠組みを提案する。ベースとなるCNNが誤分類するクラスの集合（誤まぎれ集合）を再帰的に特定し、それらのサブセット上で専用のCNNを訓練することで、微細な特徴学習により分類精度を向上させ、AlexNetおよびGoogleNetを用いたILSVRC 2015において顕著な誤差率低減を達成した。

ABSTRACT

We propose a novel approach to enhance the discriminability of Convolutional Neural Networks (CNN). The key idea is to build a tree structure that could progressively learn fine-grained features to distinguish a subset of classes, by learning features only among these classes. Such features are expected to be more discriminative, compared to features learned for all the classes. We develop a new algorithm to effectively learn the tree structure from a large number of classes. Experiments on large-scale image classification tasks demonstrate that our method could boost the performance of a given basic CNN model. Our method is quite general, hence it can potentially be used in combination with many other deep learning models.

研究の動機と目的

• すべてのクラスにわたる共有特徴学習のため、標準的なCNNがクラス固有の識別的特徴を捉えることの制限を解消すること。
• 大規模データセットにおける各クラスごとの特化モデルを訓練する際の計算およびメモリのオーバーヘッドを低減すること。
• 重複する誤まぎれパターンを示すクラスをグループ化するスケーラブルで階層的なツリー構造を開発し、効率的で標的特化の特徴学習を実現すること。
• 誤分類された例の予測を精緻化するために、誤まぎれサブセット上で訓練された専用CNNを用いて分類精度を向上させること。
• 本手法の一般化可能性を、AlexNetやGoogleNetなどの異なるバックボーンCNNアーキテクチャ上で示すこと。

提案手法

• ベースCNNモデルから推定された誤まぎれ集合に基づいて、クラスを再帰的に分割することでCNNツリーを構築する。
• ツリーの各ノードに対して、そのノードに関連するクラス集合上で専用のCNNモデルを訓練し、そのクラス同士を区別することに特化する。
• 重複する誤まぎれ集合を統合してより大きなスーパーセットを作成するヒューリスティックアルゴリズムを用い、専用モデルの数を減らしながらも精度を維持する。
• 根ノードから開始し、誤まぎれ集合の推定と統合ヒューリスティックに基づいてノードを拡張する深さ優先・幅優先のツリー成長戦略を適用する。
• 複雑さを制御するため、統合された誤まぎれ集合のサイズを制限し、一部の精度を犠牲にして大幅な効率性の向上を達成する。
• 専用CNNモデルをエンドツーエンドで微調整し、アブレーションスタディでは初期層を固定して最終全結合層のみを微調整するオプションを提供する。

実験結果

リサーチクエスチョン

• RQ1 誤まぎれパターンによって定義されたクラスサブセット上で専用CNNを訓練することは、単一の共有CNNと比較して分類精度を向上させることができるか？
• RQ2 大規模多クラス分類において高いパフォーマンスを維持しつつ、専用CNNモデルの数を最小限に抑える方法は何か？
• RQ3 ツリー構造による階層的・段階的な微細特徴学習は、グローバル特徴学習に比べてより優れた識別能をもたらすか？
• RQ4 本手法は、ILSVRC 2015のような困難で大規模なデータセットにおいて、どの程度誤差率を低減するか？
• RQ5 精度と推論効率の観点から、CNNツリーの性能はモデルアンサンブルやその他のアンサンブル戦略と比較してどうか？

主な発見

• エンドツーエンドの特徴学習なしに最終層のみを微調整した場合、GoogleNetにおいてトップ1誤差率を0.59%、トップ5誤差率を0.25%低減した。これにより、専用モデルにおけるエンドツーエンド特徴学習の価値が示された。
• AlexNetにおいては、固定特徴量上でロジスティック回帰のみを用いた場合、トップ1誤差率は0.13%低下したが、トップ5誤差率は0.1%上昇した。これは、パフォーマンス向上には特徴学習が不可欠であることを確認した。
• ILSVRC 2015において、CNNツリーは顕著な誤差率低減を達成した。図3に示すように、より多くの専用CNNモデルを追加するにつれてトップ1誤差率が低下した。
• 誤分類された例の予測精度が向上した。図4は、ベースモデルが誤って予測した例をCNNツリーが是正したことを示しており、緑色のラベルは元々誤っていたが是正された予測を表す。
• AlexNetでは約150万イテレーション、GoogleNetでは約480万イテレーションの訓練が必要であり、それぞれベースモデルの5倍および2倍であった。12のGPUを用いて1.5〜2日間で訓練が完了した。
• AlexNetでは推論時間が2倍に、GoogleNetでは1倍に増加したが、これはツリー内の複数のCNNで各サンプルを評価する必要があるためであり、精度の向上が推論コストを正当化している。