[論文レビュー] Flip-Rotate-Pooling Convolution and Split Dropout on Convolution Neural Networks for Image Classification

Fa Wu, Peijun Hu+1 more|arXiv (Cornell University)|Jul 31, 2015

Advanced Neural Network Applications参考文献 21被引用数 18

ひとこと要約

本論文は、画像分類におけるCNNの性能を向上させるために、Split Dropout (sDropout) および2つの回転畳み込み技術—Rotate-Pooling Convolution (RPC) と Flip-Rotate-Pooling Convolution (FRPC)—を導入する。sDropoutはユニットを2つの不重複サブセットに分割して学習を行うことで、収束性と一般化性能を向上させる。一方、RPCとFRPCはパrameterを追加せずに回転不変性を符号化する。sDropoutとFRPCの組み合わせにより、元のZeilerとFergusモデルと比較してImageNet 2012でトップ1精度が1.18%向上する。

ABSTRACT

This paper presents a new version of Dropout called Split Dropout (sDropout) and rotational convolution techniques to improve CNNs' performance on image classification. The widely used standard Dropout has advantage of preventing deep neural networks from overfitting by randomly dropping units during training. Our sDropout randomly splits the data into two subsets and keeps both rather than discards one subset. We also introduce two rotational convolution techniques, i.e. rotate-pooling convolution (RPC) and flip-rotate-pooling convolution (FRPC) to boost CNNs' performance on the robustness for rotation transformation. These two techniques encode rotation invariance into the network without adding extra parameters. Experimental evaluations on ImageNet2012 classification task demonstrate that sDropout not only enhances the performance but also converges faster. Additionally, RPC and FRPC make CNNs more robust for rotation transformations. Overall, FRPC together with sDropout bring $1.18\%$ (model of Zeiler and Fergus~\cite{zeiler2013visualizing}, 10-view, top-1) accuracy increase in ImageNet 2012 classification task compared to the original network.

研究の動機と目的

• 深層CNNにおける過学習を解消するために、標準的なDropout正則化手法を改善すること。
• 標準的なプーリングおよび畳み込み層が符号化できない回転変換に対するCNNのロバスト性を向上させること。
• モデルの複雑さを増さずに一般化性能と収束性を向上させる、効率的でパrameterフリーの手法を開発すること。
• ImageNet 2012を用いた大規模画像分類において、sDropoutおよび回転畳み込み技術の有効性を検証すること。
• sDropoutとFRPCを組み合わせることで、計算負荷を抑えながら顕著な精度向上が達成されることを示すこと。

提案手法

• 学習中に特徴マップのユニットを2つの互いに素なサブセットに分割するSplit Dropout (sDropout) を提案。これにより、半分をランダムにドロップするのではなく、すべてのパラメータが各イテレーションで更新されるように保証する。
• 回転プーリング畳み込み (RPC) を導入。畳み込みカーネルを複数の角度（例：0°、90°、180°、270°）で回転させ、最大プーリングにより回転方向の最大活性化をとることで、回転不変性を強制する。
• Flip-Rotate-Pooling Convolution (FRPC) を開発。RPCに水平および垂直の反転を追加することで、回転および反転両方に対する不変性をさらに強化する。
• sDropoutを全結合層に、FRPCを畳み込み層に適用し、ZeilerとFergusのネットワークアーキテクチャにおける標準的なDropoutおよび従来の畳み込み操作を置き換える。
• 回転に対するロバスト性と一般化性能を評価するため、ImageNet 2012の検証セットに対して10ビューのトップ1精度評価戦略を採用する。
• ベースラインモデルではReLUおよびPReLU活性化関数を用い、性能最適化のための回転および反転比率（25%、50%、100%）に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 学習中にすべてのユニットを保持するように変更したドロップアウト戦略が、CNNの収束速度および一般化性能の向上に寄与するか？
• RQ2 パrameterを追加せずに、カーネルの回転とプーリングによって、どの程度回転不変性をCNNに符号化できるか？
• RQ3 sDropoutとFRPCの組み合わせが、ImageNet 2012ベンチマークにおけるトップ1およびトップ5精度にどのように影響を与えるか？
• RQ4 FRPCによる性能向上は、回転に対して特に顕著な差を示す画像カテゴリ（例：複雑なテクスチャや対称性が低い画像）に顕著に現れるか？
• RQ5 FRPCにおける回転および反転操作の最適な比率は何か？ これにより、計算コストを最小限に抑えながら精度を最大化できるか？

主な発見

• sDropoutにより、ZeilerとFergusモデルのトップ1誤差率が37.72%から37.19%に低下し、一般化性能の向上と収束の高速化が確認された。
• 25%の回転および反転比率を有するFRPC（ZPSRF）を追加した場合、ImageNet 2012でトップ1誤差率が35.97%、トップ5誤差率が15.06%に低下し、最小の誤差率を記録した。
• sDropoutとFRPCの組み合わせにより、10ビュー評価下で元のZeilerとFergusモデル（ZP）と比較してトップ1精度が1.18%絶対的に向上した。
• RPCおよびFRPCは回転に対するロバスト性を顕著に向上させた。ZPSRモデルは全回転角度で高い分類確率を維持しており、特に180°で性能がピークに達した。
• 複雑なテクスチャや対称性が低い画像はFRPCの恩恵を最も大きく受けており、回転角度にわたる予測信頼度が標準モデルと比較して顕著に向上した。
• 提案手法は、ネットワークアーキテクチャを変更せず、学習可能なパラメータを追加しないため、計算およびメモリのオーバーヘッドが無視できるほど小さい。