[論文レビュー] Convolutional Networks with Adaptive Computation Graphs.

Andreas Veit, Serge Belongie|arXiv (Cornell University)|Nov 30, 2017

Adversarial Robustness in Machine Learning参考文献 25被引用数 21

ひとこと要約

この論文では、学習可能なゲーティング関数を介して動的に層をスキップする、適応的計算グラフを備えた畳み込みネットワークのファミリーであるAdanetを提案する。これにより、高レベル特徴抽出における効率的計算と特化が可能になる。ImageNetでは、Adanet 50はResNet 34よりも30%少ないFLOPsで7.94%のtop-5誤差を達成し、敵対的例に対する耐性も向上している。

ABSTRACT

Do convolutional networks really need a fixed feed-forward structure? Often, a neural network is already confident after a few layers about the high-level concept shown in the image. However, due to the fixed network structure, all remaining layers still need to be evaluated. What if the network could jump right to a layer that is specialized in fine-grained differences of the image's content? In this work, we propose Adanets, a family of convolutional networks with adaptive computation graphs. Following a high-level structure similar to residual networks (Resnets), the key difference is that for each layer a gating function determines whether to execute the layer or move on to the next one. In experiments on CIFAR-10 and ImageNet we demonstrate that Adanets efficiently allocate computational budget among layers and learn distinct layers specializing in similar categories. Adanet 50 achieves a top 5 error rate of 7.94% on ImageNet using 30% fewer computations than Resnet 34, which only achieves 8.58%. Lastly, we study the effect of adaptive computation graphs on the susceptibility towards adversarial examples. We observe that Adanets show a higher robustness towards adversarial attacks, complementing other defenses such as JPEG compression.

研究の動機と目的

• 固定深さの畳み込みネットワークが自信の有無にかかわらず全層を処理する非効率性に対処すること。
• 入力に応じた自信に基づいて層のスキップを許容することで、動的計算を可能にすること。
• 適応的計算グラフがモデルの効率性と耐性を向上させるかどうかを検証すること。
• 適応的ルーティング下で、類似した画像カテゴリに対して特化した層が出現するかどうかを調査すること。
• 適応的計算が敵対的例への感受性に与える影響を評価すること。

提案手法

• 各層の後に微分可能ゲーティング関数を備えたリーマン型アーキテクチャを採用する。
• ゲーティング関数は、入力特徴マップに基づいて現在の層をスキップする確率を計算する。
• 推論時、ゲート出力がしきい値を超えると、その層がスキップされ、ネットワークは次の層に進む。
• 微分可能ゲートを用いた標準的なバックプロパゲーションにより、エンド・ツー・エンドでネットワークを訓練する。
• 各層は、類似した画像カテゴリ間の微細な違いを区別するように特化するように設計されている。
• 適応的ルーティングにより、入力の複雑さに応じて計算リソースをより効率的に割り当てられる。

実験結果

リサーチクエスチョン

• RQ1 適応的計算グラフは、画像分類の精度を損なわずにFLOPsを削減できるか？
• RQ2 適応的ネットワークは、類似した画像カテゴリに対して特化した層を学習するか？
• RQ3 適応的計算は敵対的例への耐性にどのように影響するか？
• RQ4 ゲーティング機構により、自信のある予測に対して早期終了を可能にし、推論効率を向上させられるか？
• RQ5 固定構造ネットワークと比較して、動的ルーティングはより効率的で耐性のあるモデルをもたらすか？

主な発見

• Adanet 50はImageNetでtop-5誤差7.94%を達成し、計算コストがより高いResNet 34の8.58%を上回っている。
• Adanet 50はResNet 34と比較して30%少ないFLOPsを用いており、より高い精度を達成している。
• ネットワークは、類似した画像カテゴリ間の微細な差異を区別するための明確な特化層を学習している。
• 適応的計算グラフは敵対的攻撃に対する耐性を向上させ、標準ネットワークよりも高い耐性を示している。
• 適応的メカニズムにより、自信のある予測に対して早期終了が可能となり、簡単なサンプルの計算量が削減されている。
• AdanetsはJPEG圧縮などの既存の防御と相乗効果をもたらし、さらに敵対的耐性を向上させている。