[論文レビュー] Decision Forests, Convolutional Networks and the Models in-Between

Yani Ioannou, Duncan Robertson+5 more|arXiv (Cornell University)|Mar 3, 2016

Adversarial Robustness in Machine Learning被引用数 34

ひとこと要約

本論文は、条件付き計算と表現学習を統合することで、意思決定フォレストと畳み込みニューラルネットワーク（CNN）を統合したハイブリッドモデルである「条件付きネットワーク」を提案する。学習可能なデータルーターとブロック対角スパース重み行列を用いることで、標準のCNN（例：NiN）と比較して最大5倍の計算コスト低減と6倍のモデルサイズ削減を達成しながら、最先端の精度を実現する。

ABSTRACT

This paper investigates the connections between two state of the art classifiers: decision forests (DFs, including decision jungles) and convolutional neural networks (CNNs). Decision forests are computationally efficient thanks to their conditional computation property (computation is confined to only a small region of the tree, the nodes along a single branch). CNNs achieve state of the art accuracy, thanks to their representation learning capabilities. We present a systematic analysis of how to fuse conditional computation with representation learning and achieve a continuum of hybrid models with different ratios of accuracy vs. efficiency. We call this new family of hybrid models conditional networks. Conditional networks can be thought of as: i) decision trees augmented with data transformation operators, or ii) CNNs, with block-diagonal sparse weight matrices, and explicit data routing functions. Experimental validation is performed on the common task of image classification on both the CIFAR and Imagenet datasets. Compared to state of the art CNNs, our hybrid models yield the same accuracy with a fraction of the compute cost and much smaller number of parameters.

研究の動機と目的

• 意思決定フォレストと畳み込みニューラルネットワークの間の理論的・実用的関係を解明すること。
• 意思決定フォレストの効率性とCNNの精度を組み合わせた新しいハイブリッドモデルの開発。
• 推論コストを犠牲にせずに精度を損なわずに、動的でデータ依存の計算ルーティングを可能にする仕組みの構築。
• 条件付きネットワークが、画像分類タスクにおいて標準のCNNを上回る精度と効率を達成できることの実証。

提案手法

• 条件付きネットワークを、学習可能な特徴変換を持つ意思決定ツリーとして捉えるか、ブロック対角スパース重み行列と明示的なルーティング関数を持つCNNとして見なせる統一フレームワークを提案。
• 入力コンテンツに応じて入力をネットワークの特定のブランチに動的にルーティングする学習可能なルーターを採用し、条件付き計算を実現。
• バックプロパゲーションを用いてルーターとCNN部品を同時に学習することで、離散的なルーティング決定にもかかわらず、エンド・ツー・エンドの微分可能性を確保。
• ベイズ最適化を用いて、精度、モデルサイズ、推論コストのバランスを取る最適なアーキテクチャを条件付きネットワーク空間内で探索。
• 複数のCNN（例：GoogLeNet）を共有ルーター部品と組み合わせた条件付きアンサンブルを構築し、入力ごとに関連するルートのみをアクティブ化。
• 活性化相関の再順序化とプルーニングを用いて構造的スパarsityを実装し、ブロック対角パターンを明らかにすることで、効率的なルーティングと計算を可能に。

実験結果

リサーチクエスチョン

• RQ1 意思決定フォレストの条件付き計算特性を、CNNの表現学習とどのように統合できるか。
• RQ2 意思決定ツリーの効率性とCNNの精度を併せ持つ統一された深層学習アーキテクチャを設計できるか。
• RQ3 学習可能なデータルーティングが、精度を低下させることなくCNNアンサンブルの効率をどの程度向上できるか。
• RQ4 ハイブリッドアーキテクチャにおいて、モデルの精度、推論コスト、パラメータ数のトレードオフはどのようなものか。
• RQ5 条件付きネットワークは、計算およびメモリ要件を著しく削減しながら、最先端のCNNと同等の性能を達成できるか。

主な発見

• 最良の条件付きネットワークは、ImageNet上で元のNiNモデルとほぼ同等のtop-5テスト誤差を達成するが、推論コストは5倍低く、モデルサイズは6倍小さい。
• ベイズ最適化を用いて学習した条件付きネットワークは、ルーティングなしの対応モデルに比べて、精度-計算-サイズのトレードオフ空間において一貫して優れており、最適点に近いクラスタリングを示す。
• GoogLeNetモデルの条件付きアンサンブルは、10倍オーバースマップリングされたGoogLeNetと同等の精度を達成するが、計算コストは半分未満に抑えられ、優れた効率性を示している。
• 学習されたルーターにより、テスト時に動的で入力依存のルーティングが可能となり、再トレーニングなしに最も正確で効率的なパスを選択できる。
• 訓練済みネットワークにおける活性化相関のブロック対角構造は、構造的スパarsityの存在を裏付け、条件付きネットワークの設計原理の妥当性を検証している。
• 明示的なルーティング関数があるにもかかわらず、条件付きネットワークは完全に微分可能であり、バックプロパゲーションによるエンド・ツー・エンド学習が可能である。