[論文レビュー] HexaConv

Emiel Hoogeboom, Jorn W. T. Peters+2 more|arXiv (Cornell University)|Mar 6, 2018

Advanced Image and Video Retrieval Techniques被引用数 10

ひとこと要約

この論文では、6回回転対称性を活用して、効率的なグループ畳み込みを六角格子上で実現するHexaConvを提案する。最適化された畳み込みルーチンを再利用し、異方性の低減と対称性の向上を図ることで、空中画像分類において最先端の精度を達成し、ランダム初期化でさえも標準CNNやImageNet事前学習モデルを上回る性能を発揮する。

ABSTRACT

The effectiveness of Convolutional Neural Networks stems in large part from their ability to exploit the translation invariance that is inherent in many learning problems. Recently, it was shown that CNNs can exploit other invariances, such as rotation invariance, by using group convolutions instead of planar convolutions. However, for reasons of performance and ease of implementation, it has been necessary to limit the group convolution to transformations that can be applied to the filters without interpolation. Thus, for images with square pixels, only integer translations, rotations by multiples of 90 degrees, and reflections are admissible. Whereas the square tiling provides a 4-fold rotational symmetry, a hexagonal tiling of the plane has a 6-fold rotational symmetry. In this paper we show how one can efficiently implement planar convolution and group convolution over hexagonal lattices, by re-using existing highly optimized convolution routines. We find that, due to the reduced anisotropy of hexagonal filters, planar HexaConv provides better accuracy than planar convolution with square filters, given a fixed parameter budget. Furthermore, we find that the increased degree of symmetry of the hexagonal grid increases the effectiveness of group convolutions, by allowing for more parameter sharing. We show that our method significantly outperforms conventional CNNs on the AID aerial scene classification dataset, even outperforming ImageNet pre-trained models.

研究の動機と目的

• 6重回転対称性を活用することで、補間を回避する六角格子上の効率的なグループ畳み込み手法の開発。
• 固定されたパラメータ予算のもとで、六角格子画素化が正方格子よりも異方性を低減し、性能を向上させることの実証。
• 高次の対称性（p6）が、グループ等変換ネットワークにおけるパラメータ共有とモデル精度を向上させることの実証。
• 回転不変性が重要な誘導的バイアスである実世界のデータセット（例：空中画像分類）において、HexaConvの有効性の評価。

提案手法

• フィルタ変換（FT）を経て平面的六角格子畳み込みを実行することで、既存の最適化された畳み込みルーチンを再利用する。
• 60度回転対称性を持つ六角格子を採用し、補間を用いずにフィルタの正確な回転を可能にする。
• p6群上のグループ畳み込みを用いた、3段階と各段階に2ブロックを有する変更済みResNetアーキテクチャを採用。
• 最終層の直前で空間的および方向チャネルプーリングを適用し、方向不変性を実現。
• 平面畳み込みと六角格子上のグループ畳み込みの両方をサポートし、双線形補間を用いて正方格子から六角格子への効率的なリサンプリングを実現。
• 最適化された畳み込みカーネルを再利用することで、標準的なディープラーニングフレームワークと互換性を持つ実装を設計。

実験結果

リサーチクエスチョン

• RQ1 六角格子上のグループ畳み込みは、回転対称性を持つタスクにおいて、標準CNNを上回る性能を発揮できるか？
• RQ2 同じパラメータ予算のもとで、六角格子画素化は正方格子画素化よりも異方性を低減し、性能を向上させるか？
• RQ3 回転対称性の向上（p6 対 p4）が、パラメータ共有とモデル精度にどの程度寄与するか？
• RQ4 鏡映対称性（p6m）は空中画像分類において有益か、それともこの文脈では不要な誘導的バイアスであるか？

主な発見

• p6グループ畳み込みを用いたHexaConvは、AID空中画像分類データセットで8.6%のテスト誤差を達成し、19.3%誤差を示すベースラインZ²-ResNetを著しく上回った。
• 7パラメータフィルタを用いた平面的HexaConvは、同じパラメータ予算のもとで正方3×3フィルタを上回った。これは異方性の低減によるものである。
• p6グループ畳み込みはp4グループ畳み込みを上回り、より高い対称性が性能向上に寄与することを示した。
• 鏡映対称性（p6m）は性能向上に寄与せず（9.3%誤差）、AIDデータセットでは有用な誘導的バイアスではないことが示唆された。
• ImageNet事前学習を用いずとも、p6-ResNetはImageNet事前学習ベースラインを上回る精度を達成した。これは六角格子グループ畳み込みに強い誘導的バイアスが内在していることを示している。
• 最適化された畳み込みルーチンの有効な再利用により、カスタムカーネルを必要とせず、効率的な実装が可能となった。