[論文レビュー] Hybrid Composition with IdleBlock: More Efficient Networks for Image Recognition

Bing Xu, Andrew Tulloch+3 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 31被引用数 5

ひとこと要約

本稿では、入力の一部をそのままで通す（「アイドル」状態に保つ）ことで内部接続をプルーニングする、新しいニューラルネットワークの基本ブロックであるIdleBlockを導入し、標準のMBBlockと交互に配置するハイブリッド構成を提案することで、効率性を向上させている。ニューラルアーキテクチャ探索を用いずに、ハイブリッド化されたMobileNet v3およびEfficientNet-B0は、同等の計算コストの制約下で最先端の精度を達成し、人為的設計およびNAS最適化されたネットワークを上回っている。

ABSTRACT

We propose a new building block, IdleBlock, which naturally prunes connections within the block. To fully utilize the IdleBlock we break the tradition of monotonic design in state-of-the-art networks, and introducing hybrid composition with IdleBlock. We study hybrid composition on MobileNet v3 and EfficientNet-B0, two of the most efficient networks. Without any neural architecture search, the deeper "MobileNet v3" with hybrid composition design surpasses possibly all state-of-the-art image recognition network designed by human experts or neural architecture search algorithms. Similarly, the hybridized EfficientNet-B0 networks are more efficient than previous state-of-the-art networks with similar computation budgets. These results suggest a new simpler and more efficient direction for network design and neural architecture search.

研究の動機と目的

• 現代のCNNにおける単調で完全接続されたブロック設計の非効率性を是正するため、内部接続を自然にプルーニングする新しいブロック設計を導入すること。
• 最先端のネットワークにおける従来の単調なブロック積み重ねを覆すために、非単調なハイブリッド構成戦略を提案すること。
• プルーニングされた計算リソースを活用する深さのあるハイブリッドアーキテクチャが、既存のNASや熟練者による設計手法よりも優れた効率性と精度を実現できることを示すこと。
• 残差ブロックにおけるチャネルシャッフル操作の必要性を評価し、提案された設計ではそれが必須でないことを示すこと。

提案手法

• 入力の一部を変更せずに通すことで、内部接続をプルーニングするが計算コストを伴わないMBBlockの変種、IdleBlockを提案する。
• 標準のMBBlockとIdleBlockを交互に配置する非単調なブロック積み重ね戦略、すなわちハイブリッド構成（HC）を導入し、情報の流れと計算効率のバランスを取る。
• 情報交換をIdleBlockの外側で行うように変更されたブロック設計を採用し、特徴の接続性を維持しながら計算量を削減する。
• EfficientNetと同様の複合スケーリング戦略（深さ、幅、解像度）を採用するが、これをIdleBlockを含むハイブリッドアーキテクチャに適用することで、効率性を維持する。
• チャネルシャッフル演算子（ISB）とシャッフルなしのIdleBlockを比較するアブレーションスタディを実施し、シャッフルが性能に必要でないことを示す。
• 分散学習を用いて、深層ネットワークにおける結果を検証し、単調なMBBlock積み重ねとハイブリッドなIdleBlock構成を比較する。

実験結果

リサーチクエスチョン

• RQ1 内部的に接続をプルーニングする能力を持つブロック設計（IdleBlock）は、精度を損なわず効率性を向上させることができるか？
• RQ2 単調なブロック積み重ねのパターンを破り、ハイブリッド構成を採用することで、計算量と精度のトレードオフが改善されるか？
• RQ3 ハイブリッドアーキテクチャでIdleBlockを使用する場合、残差ブロックにおけるチャネルシャッフル操作は必須か？
• RQ4 IdleBlockを用いたハイブリッド構成は、同等の計算コスト下で、人為的設計およびNAS最適化されたネットワークを上回る性能を発揮できるか？
• RQ5 L/R-IdleBlocks（左右交互に配置）の配置が、受容 field と最終的な精度にどのように影響するか？

主な発見

• MobileNet v3にIdleBlockを適用したハイブリッド構成では、380.1 MAddsの計算量でImageNet Top-1精度が77.5%に達し、同程度の計算コスト制約下のすべての先行研究を上回っている。
• IdleBlockを適用したハイブリッド化されたEfficientNet-B0は、752.2 MAddsの計算量でTop-1精度79.5%を達成し、元のEfficientNet-B0（715.9 MAddsで79.2%）および他の最先端モデルを上回っている。
• 15個のMBBlockのうち14個をIdleBlockに置き換えた（チャネルシャッフルなし）場合、Top-1精度は73.8%に達し、ISBを用いた場合（73.8%）と同等の性能を示すが、計算複雑度が低減されている。
• IdleBlockを含むハイブリッドネットワークは、同等の深さと計算量下で、単調なMBBlock積み重ねよりも0.3–0.4%高い精度を達成しているが、MAddsは1.3倍も少ない。
• L/R-IdleBlockの配置は、単調なIdleBlock積み重ねよりも精度を向上させ、より深いMobileNet v3構成では77.57%（対照的に77.39%）のTop-1精度を達成した。
• アブレーションスタディの結果、提案された設計ではチャネルシャッフル演算子が必須でないことが確認され、IdleBlock単体でも同等またはより優れた性能が、より少ない計算量で達成可能であることが示された。