[論文レビュー] Multiscale Hierarchical Convolutional Networks

Jörn-Henrik Jacobsen, Edouard Oyallon+2 more|arXiv (Cornell University)|Mar 12, 2017

Image Retrieval and Classification Techniques参考文献 16被引用数 7

ひとこと要約

本論文は、データから学習された段階的な高次元属性によってインデックス付けされる層を備えた構造的深層学習アーキテクチャであるマルチスケール階層的畳み込みネットワーク（MHCNs）を提案する。多次元畳み込みと属性インデックスに沿った平均化を用いて不変性を計算することで、パrameter数を著しく削減しながらCIFAR-10で最先端の分類精度を達成し、CNNの不変性および対称性群を数学的に解釈可能なフレームワークを提供する。

ABSTRACT

Deep neural network algorithms are difficult to analyze because they lack structure allowing to understand the properties of underlying transforms and invariants. Multiscale hierarchical convolutional networks are structured deep convolutional networks where layers are indexed by progressively higher dimensional attributes, which are learned from training data. Each new layer is computed with multidimensional convolutions along spatial and attribute variables. We introduce an efficient implementation of such networks where the dimensionality is progressively reduced by averaging intermediate layers along attribute indices. Hierarchical networks are tested on CIFAR image data bases where they obtain comparable precisions to state of the art networks, with much fewer parameters. We study some properties of the attributes learned from these databases.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の学習された不変性および対称性群を数学的に解釈可能にする構造的深層学習アーキテクチャの開発。
• 学習された属性インデックスに沿った平均化によって次第に次元を低減することで、ネットワークの複雑さを低減すること。
• 階層的特徴空間における低次元から高次元への特徴の進化を理解すること。
• 多次元畳み込みと群論的原則を用いて、深層ネットワークにおける不変性を分析するフレームワークの提供。
• 階層的属性学習が、標準のCNNと比較してより少ないパrameter数で同等の性能を達成できることの実証。

提案手法

• ネットワークは、トレーニングデータから学習された段階的な高次元属性によってインデックス付けされる階層的な層のスタックで構成される。
• 各層は、空間的および属性変数に沿った多次元畳み込みによって計算され、小さなサポートを持つフィルタを用いる。
• 中間層の次元を属性インデックスに沿った平均化によって低減し、不変性を計算する。
• 非線形関数として指数線形関数（ELUs）を採用し、境界効果を最小限に抑えるために円周型畳み込みを用いる。
• 不変性は属性インデックスの和として明示的に計算され、学習された特徴が対称性を保つ変換として解釈可能になる。
• 実装では5次元畳み込みとバッチ正則化を用い、TensorFlowおよびKerasを介してコードを公開している。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層畳み込みネットワークを構造化することで、その学習された不変性および対称性群を数学的に透明にできるか？
• RQ2 階層的属性インデックスの役割は、パラメータ数を削減しながら分類精度を維持するために果たすか？
• RQ3 異なる深さにおける属性変換は、画像の低次元的性質と高次元的性質のどちらに対応するか？
• RQ4 属性インデックスに沿った平行移動は、トレーニングデータにおける意味のある画像の変化をどの程度反映しているか？
• RQ5 深層ネットワークにおいて、学習された属性次元に沿った和集合によって不変表現を体系的に計算できるか？

主な発見

• MHCNは、パラメータ数を著しく削減しているにもかかわらず、CIFAR-10における分類精度を最先端のCNNと同等に達成している。
• 浅い層では、属性の平行移動がテクスチャやエッジパターンなど、微細な低次元的画像特性に対応している。
• 深い層では、属性の平行移動が物体のポーズや形状の変化といった大規模な構造的変化に対応するようになる。
• ネットワークの不変性は属性インデックスに沿った和集合によって計算されており、学習された特徴と分類関数の対称性群との直接的な関連が確立される。
• 属性シフトによる特定の特徴マップの平行移動として特定された画像は、特に深い層においてはしばしば同じクラスに属しており、意味的な構造的不変性を示している。
• 円周型畳み込みを用いることで境界効果に対して頑健であり、標準的な畳み込みとほぼ同等の性能を示している。