[論文レビュー] Deep Convolutional Decision Jungle for Image Classification

Seungryul Baek, Kwang In Kim+1 more|arXiv (Cornell University)|Jun 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 9

ひとこと要約

本稿では、中間の畳み込み層および全結合層に意思決定ジャングルの原則を統合することで、特徴の識別性と解釈可能性を向上させる、新しいCNNアーキテクチャ「Deep Convolutional Decision Jungle（CDJ）」を提案する。クラス純度に基づくレイヤーごとのルーティング損失を導入することで、データ依存のソフトルーティングが可能となり、パrameterを追加せずに推論時に性能向上と解釈可能性の向上を実現。複数のベンチマークでベースラインCNNや先行するCNN-ツリー統合手法を上回る性能を発揮する。

ABSTRACT

We propose a novel method called deep convolutional decision jungle (CDJ) and its learning algorithm for image classification. The CDJ maintains the structure of standard convolutional neural networks (CNNs), i.e. multiple layers of multiple response maps fully connected. Each response map-or node-in both the convolutional and fully-connected layers selectively respond to class labels s.t. each data sample travels via a specific soft route of those activated nodes. The proposed method CDJ automatically learns features, whereas decision forests and jungles require pre-defined feature sets. Compared to CNNs, the method embeds the benefits of using data-dependent discriminative functions, which better handles multi-modal/heterogeneous data; further,the method offers more diverse sparse network responses, which in turn can be used for cost-effective learning/classification. The network is learnt by combining conventional softmax and proposed entropy losses in each layer. The entropy loss,as used in decision tree growing, measures the purity of data activation according to the class label distribution. The back-propagation rule for the proposed loss function is derived from stochastic gradient descent (SGD) optimization of CNNs. We show that our proposed method outperforms state-of-the-art methods on three public image classification benchmarks and one face verification dataset. We also demonstrate the use of auxiliary data labels, when available, which helps our method to learn more discriminative routing and representations and leads to improved classification.

研究の動機と目的

• 深層ネットワークにおけるパラメータ爆発、硬直的な2値ルーティング、一般化性能の低さといった、既存のCNN-ツリー統合手法の限界を解消すること。
• すべてのレイヤーにわたり、応答マップ（ノード）におけるクラスごとの純度を強制することで、CNNの中間特徴表現を改善すること。
• アーキテクチャを変更せずに、標準CNNに意思決定ジャングル風のソフトルーティングを統合することで、より解釈可能で識別性の高い表現を実現すること。
• 計算効率と大規模深層ネットワークへの適合性を維持しつつ、分類精度の向上と解釈可能性の向上を達成すること。
• ルーティング損失が隠れ層におけるエントロピーの低減（純度の向上）を促進し、一般化性能およびモデルの解釈可能性の向上と相関することを実証すること。

提案手法

• 最終レイヤーでの標準的なソフトマックス損失に加え、応答マップにおけるクラス純度を測定するレイヤーごとのルーティング損失を組み合わせた、新しいトレーニング目的を導入する。
• 畳み込み層および全結合層すべてにルーティング損失を適用し、勾配最適化によって各ノード（応答マップ）が特定のクラスラベルに特化するよう促進する。
• ソフトルーティングを採用：各入力サンプルがノードを通過する経路を連続的かつデータ依存的に選択し、2値分岐ではなく意思決定ジャングルを模倣する。
• 推論時にルーティングパスを破棄することで、標準的なCNN推論を維持し、モデルの複雑さと効率性を保つ。
• 意思決定ジャングル構造を活用することで、パスの回復が可能となり、2値分岐木よりも過学習を低減できる。
• 補助情報（例：顔のポーズ）を直接ルーティングコストに統合することで、異種またはマルチモーダルデータにおける性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ルーティング損失を用いて中間CNNレイヤーにおけるクラスごとの純度を強制することで、分類精度と表現の識別性が向上するか？
• RQ2 意思決定ジャングルにインspiredされたソフトでデータ依存のルーティングは、一般化性能およびロバストネスにおいて、ハードな2値ルーティングに比べて優れているか？
• RQ3 提案されたルーティング損失が、隠れ層表現におけるエントロピーの低減を促進することで、どの程度モデルの解釈可能性が向上するか？
• RQ4 CDJフレームワークは、推論時のモデル複雑度を増加させることなく、大規模で深層なCNNアーキテクチャに効果的に適用可能か？
• RQ5 補助データ（例：ポーズ）をルーティングコストに統合することで、マルチモーダル学習の場面で測定可能な性能向上が得られるか？

主な発見

• Caltech-101ではCDJが94.2%の精度を達成し、ベースラインのVGG-16（92.5%）およびAlexNet（87.1%）を上回り、VGG-16に対して1.8%の向上を示した。
• Multi-PIE顔認証タスクでは、ポーズラベル統合付きのCDJが91.35%の精度を達成し、ベースラインのAlexNet（88.98%）およびc-CNN Forest（76.89%）を上回った。
• CDJにおけるレイヤーごとの平均エントロピーは、標準CNNに比べて顕著に低く、エントロピーとテスト精度の間に強い逆相関が確認され、ルーティング損失の有効性が裏付けられた。
• Oxford-IIIT Petデータセットでは、CDJはAlexNetに対して19.81%、VGG-16に対して16.18%の解釈可能性スコアの向上を示し、人間が理解可能な概念との整合性が向上したことを示した。
• アンサンブルCDJモデルは、Oxford-IIIT Petでそれぞれ89.5%および94.1%の精度を達成し、ベースラインCNNのアンサンブル精度（87.1%および92.3%）を上回った。
• c-CNN Forestとは異なり、パrameterの爆発を回避することで、大規模で深層なネットワークの構築が可能になった。