[論文レビュー] Irregular Convolutional Neural Networks

Jiabin Ma, Wei Wang+1 more|arXiv (Cornell University)|Jun 24, 2017

Advanced Neural Network Applications参考文献 23被引用数 5

ひとこと要約

本稿では、畳み込みカーネルの形状を重みとともに学習可能なパラメータとして扱う不規則畳み込みニューラルネットワーク（ICNN）を提案する。この手法により、セマンティックセグメンテーションなどのタスクにおける不規則な特徴パターンへの適合性が向上する。微分可能なバイリニア補間を用いて、カーネル形状をエンドツーエンドで学習可能とし、パラメータ数を減らしながらも性能を向上させ、PASCAL VOC 2012で43.1%のmIoU、CITYSCAPEで72.9%のmIoUを達成した。

ABSTRACT

Convolutional kernels are basic and vital components of deep Convolutional Neural Networks (CNN). In this paper, we equip convolutional kernels with shape attributes to generate the deep Irregular Convolutional Neural Networks (ICNN). Compared to traditional CNN applying regular convolutional kernels like ${3 imes3}$, our approach trains irregular kernel shapes to better fit the geometric variations of input features. In other words, shapes are learnable parameters in addition to weights. The kernel shapes and weights are learned simultaneously during end-to-end training with the standard back-propagation algorithm. Experiments for semantic segmentation are implemented to validate the effectiveness of our proposed ICNN.

研究の動機と目的

• 固定された規則的な畳み込みカーネル形状と、深層畳み込みニューラルネットワークにおける不規則な入力特徴パターンとの間の不一致を解消すること。
• 入力特徴の幾何的構造に適応可能なカーネル形状の許容をもって、特徴抽出の効率を向上させること。
• ネットワークの深さやパラメータ数を増加させることなく、不規則なカーネル形状の学習によってモデルの表現能力を向上させること。
• 標準的なバックプロパゲーションを用いて、カーネル重みと形状の両方をエンドツーエンドで学習可能にする仕組みを提供すること。

提案手法

• バックプロパゲーション中に学習可能なカーネル形状を実現するため、バイリニア補間を用いた微分可能な形状パラメータ化を導入する。
• 各カーネルを、固定グリッド位置ではなく、配置位置を学習可能な空間的位置（形状変数）の集合として表現する。
• 不規則に配置されたカーネル重みを特徴マップ上の位置にマッピングするためにバイリニア補間を適用し、微分可能性を保証する。
• 層内のすべてのカーネルで同一の形状を共有することで計算を簡略化し、複雑さを低減しながらも性能を維持する。
• 標準的なバックプロパゲーションを用いて、カーネル重みと形状パラメータを同時に最適化し、既存のCNNアーキテクチャへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なカーネル形状は、不規則な特徴パターンを示すタスクにおける深層畳み込みニューラルネットワークの特徴表現を向上させることができるか？
• RQ2 不規則なカーネル形状のエンドツーエンド学習は、セマンティックセグメンテーションの性能にどのように影響を与えるか？
• RQ3 規則的カーネルと比較して、不規則カーネルはどれほどパラメータの冗長性を低減できるか？
• RQ4 固定構造のカーネルと比較して、不規則カーネルはグローバルおよびローカルなコンテキストをよりよく捉えることができるか？

主な発見

• ICNNはPASCAL VOC 2012で43.1%のmIoUを達成し、セマンティックセグメンテーション分野で最先端の性能を示した。
• CITYSCAPEデータセットでは72.9%のmIoUを達成し、複雑な都市環境への強い汎化能力を示した。
• 可視化結果から、不規則カーネルは不要な空間的応答をフィルタリングし、関連するオブジェクト部品に焦点を当てる能力が高いことが分かった。
• ICNNの深層部では、細長いストリップ状のカーネル分布が発展し、少ないパラメータ数でより大きな有効受容 field を実現した。
• ICNNは、頭部やボディの特徴といったグローバルコンテキストを効果的に統合し、首など小さな部分や部分的に見えないオブジェクトの正確なラベル付けを可能にした。