[論文レビュー] HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition

Zhicheng Yan, Hao Zhang+5 more|arXiv (Cornell University)|Oct 3, 2014

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 41

ひとこと要約

本論文では、カテゴリを粗いから細かい階層に整理することで、大規模画像分類を向上させる階層的ディープ畳み込みニューラルネットワークHD-CNNを提案する。コンponentごとの事前学習と一貫性正則化子を用いたグローバルなファインチューニングを採用し、条件付き実行とレイヤーのパラメータ圧縮により、標準のCNNと比較してトップ1誤差を最大3.1%まで低減する。CIFAR100およびImageNet 1000で最先端の性能を達成する。

ABSTRACT

In image classification, visual separability between different object categories is highly uneven, and some categories are more difficult to distinguish than others. Such difficult categories demand more dedicated classifiers. However, existing deep convolutional neural networks (CNN) are trained as flat N-way classifiers, and few efforts have been made to leverage the hierarchical structure of categories. In this paper, we introduce hierarchical deep CNNs (HD-CNNs) by embedding deep CNNs into a category hierarchy. An HD-CNN separates easy classes using a coarse category classifier while distinguishing difficult classes using fine category classifiers. During HD-CNN training, component-wise pretraining is followed by global finetuning with a multinomial logistic loss regularized by a coarse category consistency term. In addition, conditional executions of fine category classifiers and layer parameter compression make HD-CNNs scalable for large-scale visual recognition. We achieve state-of-the-art results on both CIFAR100 and large-scale ImageNet 1000-class benchmark datasets. In our experiments, we build up three different HD-CNNs and they lower the top-1 error of the standard CNNs by 2.65%, 3.1% and 1.1%, respectively.

研究の動機と目的

• 大規模画像分類において、物体カテゴリ間の視覚的分離性の不均一性（一部のクラスは本質的に他のクラスと区別が難しい）を解決すること。
• 標準のCNNにおけるフラットなNクラス分類器の限界を克服すること。これは、すべてのカテゴリを同等に扱い、階層的関係を活用しないことによる。
• 動的に困難なクラスを専用の細分化類分類器にルーティングできる、スケーラブルで効率的かつ正確な階層的ディープCNNアーキテクチャを設計すること。
• 粗いカテゴリの一貫性正則化子を用いたコンponentごとの事前学習とグローバルなファインチューニングの組み合わせにより、階層モデルの有効な訓練を可能にすること。
• レイヤーのパラメータ圧縮と条件付き実行により、推論コストとメモリ使用量を削減すること。

提案手法

• HD-CNNは画像分類を2段階のプロセスとして構造化する。まず粗いカテゴリ分類器が容易に識別可能なクラスを分離し、識別が難しいクラスは専用の細かいカテゴリ分類器にルーティングされる。
• アーキテクチャはモジュラー設計に基づく。各コンponent（粗い分類器と細かい分類器）は、ImageNet-NIN や VGG-16層などの事前学習済みブリッジブロックに基づく。
• コンponentごとの事前学習は、個々の粗い分類器と細かい分類器に対して事前に行い、その後、マルチノミアルロジスティック損失に粗いカテゴリの一貫性項を正則化子として追加したグローバルなファインチューニングを実施する。
• 条件付き実行を実装し、入力ごとに必要な細かい分類器のみをアクティブ化することで、推論時間とメモリ使用量を削減する。
• 高パラメータ数のレイヤー（例：fc6, fc7）に対して、ハイパーパramータ（s,k）を用いた低ランク近似を適用し、パラメータ圧縮を実施。精度の低下を最小限に抑えながらメモリフットプリントを削減する。
• 最終的なHD-CNNは、レベル間で確率的に予測を統合することで、全体の精度を向上させつつ、スケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリの階層を活用することで、階層的CNNアーキテクチャが大規模な視覚認識ベンチマークでの分類精度を向上させられるか？
• RQ2 コンponent分類器を別々に事前学習した後、統合的にファインチューニングする場合、階層的ディープCNNを効果的に訓練できるか？
• RQ3 粗いカテゴリの一貫性正則化子が、階層的CNNの性能と一般化能力に与える影響は何か？
• RQ4 パラメータ圧縮と条件付き実行により、顕著な精度損失なしに大規模データセット向けにスケーラブルな階層的CNNを実現できるか？
• RQ5 HD-CNNは、精度、推論効率、メモリフットプリントの観点から、標準のフラットCNNやアンサンブル手法を上回る性能を示せるか？

主な発見

• ImageNet-NINのブリッジブロックを用いた場合、標準のCNNベースラインと比較してCIFAR100でトップ1誤差を2.65%低減した。
• ImageNet 1000クラスのデータセットでは、HD-CNNはトップ1誤差36.66%、トップ5誤差15.80%を達成し、ベースラインのImageNet-NINモデルと比較してトップ1誤差で3.1%改善した。
• VGG-16層のブリッジブロックを用いた場合、オリジナルモデルと比較してトップ1誤差を1.1%、トップ5誤差を0.74%低減した。
• パラメータ圧縮により、ImageNet-NINベースのHD-CNNのメモリフットプリントは3508 MBから1712 MBに削減され、トップ5誤差はわずか0.14%増加した。
• 84個の細かいカテゴリ分類器を搭載し、圧縮されたレイヤーを有するHD-CNNは、3つのベースラインImageNet-NINネットワークのアンサンブルよりも優れた性能を示し、トップ5誤差が1.31%低かった。
• 細かい分類器の条件付き実行により計算コストが削減され、fc6レイヤーのパラメータを29.9倍圧縮しても高い精度を維持した。